설문의 이중질문은 서로 다른 두 가지 이상의 판단을 한 문항에 묶어 하나의 응답으로 받는 질문입니다. 상품 품질에는 만족하지만 배송에는 불만인 사람에게 두 항목의 만족도를 함께 물으면, 선택한 답이 어느 쪽의 평가인지 불분명해질 수 있습니다. 각 항목에 대한 평가를 알고 싶다면 문항을 나누고 응답도 따로 받아야 합니다.
문장 길이보다 한 답에 묶인 판단의 수를 봅니다
미국 조사연구기관 Pew Research Center의 질문 작성 안내는 여러 개념을 한꺼번에 평가하게 하는 질문을 이중질문(double-barreled question)이라고 설명합니다. 응답자가 답하기 어렵고, 받은 응답도 해석하기 어려워질 수 있다는 점이 핵심입니다.
다음 문항과 이 글의 고객 상황은 원문의 원칙을 적용해 만든 설명용 가상 예시입니다. 실제 설문이나 고객 평가를 옮긴 내용이 아닙니다.
“이번 주문의 상품 품질과 배송에 얼마나 만족하십니까?”
짧은 문장이지만 평가 대상은 상품 품질과 배송으로 나뉩니다. 품질에 대한 평가와 배송에 대한 평가가 다를 수 있는데도 만족도 응답은 하나만 요구합니다. 따라서 문장을 읽기 쉽다는 이유만으로 답하기도 쉬운 질문이라고 판단할 수는 없습니다.
자신의 문항을 살펴볼 때는 “한 대상에는 만족하고 다른 대상에는 불만일 수 있는가?”를 물어보세요. 그런 상황이 가능하고 각 평가를 따로 알아야 한다면, 한 답에 서로 다른 판단을 묶고 있는지 확인해야 합니다. 이 확인법은 정의를 고객 설문에 적용한 편집상의 설명입니다.
호주 통계청(ABS)의 질문 구조 안내는 별개 개념을 연결한 문항과 접속 표현을 함께 살펴보도록 설명합니다. 한국어에서도 ‘그리고’, ‘및’, ‘~와/과’는 검토할 단서가 될 수 있습니다. 다만 특정 단어가 있다는 이유만으로 이중질문이라고 단정하지 말고, 응답자가 별개로 판단할 내용을 하나의 답으로 표현해야 하는지 보아야 합니다.
답을 골랐어도 무엇을 평가했는지는 모를 수 있습니다
상품 품질에는 만족하고 배송에는 불만인 응답자를 생각해 보겠습니다. 이 사람은 앞의 문항에서 품질에 맞춰 답하면 배송에 대한 불만을 표현하기 어렵고, 배송에 맞춰 답하면 품질에 대한 만족을 표현하기 어렵습니다.
ABS는 이중질문의 일부 개념만 응답자에게 해당하거나, 모두 해당하더라도 평가 방향이 반대일 수 있어 답하기 어려워진다고 설명합니다. 따라서 응답란이 채워졌다는 사실만으로 질문이 의도한 정보를 얻었다고 볼 수는 없습니다.
응답자가 반드시 두 평가의 평균을 내거나 중간 응답을 고른다고 가정해서도 안 됩니다. 어떤 대상을 더 중요하게 생각했는지, 어느 쪽에 맞춰 답했는지는 결합된 응답 하나만으로 확인할 수 없습니다. 같은 ‘보통’ 응답이라도 두 대상 모두 보통이라고 평가했는지, 서로 다른 평가를 한 답에 담으려 했는지 구분되지 않습니다. 이는 가능한 해석을 보여 주는 예이지, 실제 응답 행동의 빈도를 설명하는 내용은 아닙니다.
이미 이렇게 점수를 수집했다면 결합 점수를 품질 점수와 배송 점수로 각각 복제해 해석할 수 없습니다. 두 평가를 따로 받지 않았기 때문입니다. 이는 Pew와 ABS가 설명한 해석의 어려움에서 도출한 한계입니다. 결과를 정리할 때도 ‘품질과 배송을 함께 물은 문항의 응답’이라는 범위를 유지해야 하며, 그 응답만으로 어느 항목의 평가가 더 낮은지 확정할 수 없습니다.
유도질문은 판단의 수가 아니라 표현의 방향이 문제입니다
이중질문과 유도질문은 살펴볼 지점이 다릅니다. 영국 Government Analysis Function의 질문지 설계 안내는 두 질문을 하나로 합친 문항의 분리와 특정 응답을 유도하는 질문의 회피를 각각 설명합니다. 미국 조사연구 학술단체 AAPOR의 조사 권고도 한 번에 한 개념을 묻는 원칙과 응답을 특정 방향으로 이끄는 표현을 피하는 원칙을 구별합니다.
아래 문항은 두 문제를 비교하기 위한 가상 예시입니다. ‘많은 고객이 좋아하는’이라는 표현은 실제 고객 평가에 관한 사실이 아닙니다.
| 구분 | 문제의 원인 | 가상 문항 | 해석할 때 주의할 점 |
|---|---|---|---|
| 이중질문 | 별개로 답할 수 있는 판단을 하나의 응답에 묶음 | 이번 주문의 상품 품질과 배송에 얼마나 만족하십니까? | 답이 품질과 배송 각각에 대해 무엇을 뜻하는지 구분하기 어렵습니다. |
| 유도질문 | 특정 방향의 응답을 권하는 표현을 넣음 | 많은 고객이 좋아하는 이번 배송 서비스에 만족하십니까? | 다른 고객의 긍정적인 평가를 제시하는 표현이 답에 영향을 줄 수 있습니다. |
문항을 나눠 배송만 묻더라도 ‘많은 고객이 좋아하는’이라는 표현이 남아 있다면 유도하는 문제는 그대로입니다. 두 정의를 함께 적용하면, 한 문항에 이중질문과 유도질문이 동시에 나타날 수도 있습니다. 문항을 검토할 때는 ‘무엇을 몇 가지 묻는가’와 ‘어떤 답을 하도록 이끄는가’를 별도로 확인해야 합니다.
문항과 응답을 나누면 항목별 반응을 구별할 수 있습니다
영국 Government Analysis Function의 안내는 두 가지 정보를 요구하는 질문을 별개 문항으로 나누도록 설명합니다. 앞의 가상 문항에 이 원칙을 적용하면 다음과 같습니다. 같은 주문을 가리키도록 범위는 유지하고, 평가 대상과 응답을 분리합니다.
분리 전: “이번 주문의 상품 품질과 배송에 얼마나 만족하십니까?”에 응답 하나를 받습니다.
분리 후: 아래 두 문항에 각각 응답을 받습니다.
- “이번 주문의 상품 품질에 얼마나 만족하십니까?”
- “이번 주문의 배송에 얼마나 만족하십니까?”
이렇게 받으면 품질에는 만족하고 배송에는 불만이라는 서로 다른 반응을 응답에 담을 수 있습니다. 분석할 때도 어느 항목의 만족도를 보고 있는지 구분할 수 있습니다. 문장만 둘로 나누고 마지막에 공통 점수 하나를 받는다면 각 평가를 구별하는 데 필요한 정보는 여전히 빠집니다.
여기서 달라지는 것은 평가 대상별 응답을 확보한다는 점입니다. 문항 분리 자체가 만족하거나 불만인 이유까지 알려 주지는 않습니다. 예를 들어 배송에 불만이라고 답했더라도 지연 때문인지 다른 경험 때문인지는 이 문항만으로 확정할 수 없습니다. 또한 이 예시는 특정 점수 척도를 표준으로 권하는 양식이 아닙니다.
분리한 문항도 실제 응답자가 의도대로 이해하고 답할 수 있는지 확인해야 합니다. ABS는 설계 지침을 따르는 것만으로 질문이 의도대로 작동한다고 확신할 수 없으며 실제 응답자와 시험하는 과정이 필요하다고 설명합니다. 문항을 고친 뒤 확인할 방법은 설문 사전검사, 배포 전에 무엇을 확인할까?에서 이어 읽을 수 있습니다.