설문 무응답 편향은 참여한 사람과 참여하지 않은 사람이 조사하려는 특성에서 체계적으로 달라 결과가 치우치는 문제입니다. 응답률이 낮다는 사실만으로 편향의 유무나 크기를 확정할 수 없고, 높다는 사실만으로 결과가 정확하다고 판단할 수도 없습니다. 몇 명이 답했는지와 함께, 어떤 사람이 덜 참여했으며 그 차이가 조사 항목과 관련되는지를 살펴야 합니다.
무응답이 언제 편향이 되나요?
미국 조사연구 학술단체 AAPOR의 표준 정의 안내는 처음 뽑은 조사 대상 가운데 응답자와 무응답자가 조사 목적에 관련된 특성에서 달라지는 문제를 설명합니다. 여기서는 설문에 참여하지 않은 사람 때문에 생길 수 있는 편향을 다룹니다.
최근 구매 고객에게 이용 만족도를 묻는 상황을 생각해 보겠습니다. 다음은 원문의 원칙을 적용한 설명용 가상 예시이며, 실제 고객의 행동이나 조사 결과가 아닙니다.
초대받은 고객 중 불만족한 고객이 만족한 고객보다 설문에 덜 참여한다고 가정해 보세요. 그러면 수집된 응답에는 만족한 고객의 의견이 상대적으로 더 많이 담깁니다. 이 결과를 초대받은 고객 전체의 만족도로 해석하면 긍정적인 쪽으로 치우칠 수 있습니다.
이 예시에서 핵심은 답하지 않은 사람이 있다는 사실에 그치지 않습니다. 만족도라는 측정 대상과 참여 여부가 관련돼 있다는 점입니다. 무응답자 수만 알아서는 그들이 어떤 평가를 했을지 알 수 없습니다. 실제로 불만족 고객이 덜 참여했는지 확인하지 않은 채 낮은 응답률의 이유를 불만족으로 설명해서는 안 됩니다.
응답률이 낮으면 결과를 버려야 하나요?
응답률만으로 결과를 버리거나 그대로 받아들일 수는 없습니다. 응답률은 조사 대상으로 삼은 사람들 가운데 얼마나 응답했는지를 나타내는 참여 지표이고, 편향은 그 과정에서 결과가 체계적으로 치우친 정도에 관한 문제입니다. 두 지표가 답하는 질문이 다릅니다.
AAPOR의 응답률과 조사 품질 해설은 응답률만으로 정확한 자료와 부정확한 자료를 안정적으로 구별하기 어렵다고 설명합니다. 응답률이 높은 조사도 무응답 편향을 살펴야 합니다. 따라서 모든 조사에 공통으로 적용할 응답률 합격선을 정해 정확성을 판정하는 방식은 적절하지 않습니다.
앞의 가상 상황에서도 목표 응답 수를 채웠다는 사실은 불만족 고객의 참여 부족이 해소됐다는 뜻이 아닙니다. 보고서에 쓸 수 있는 “응답 수를 확보했다”와 “전체 고객의 의견을 잘 반영한다”는 서로 다른 판단입니다.
그렇다고 응답 확보 노력이 불필요해지는 것은 아닙니다. AAPOR의 조사 권고는 수집 중 응답을 점검하고 참여를 늘리기 위해 합리적으로 노력하도록 안내합니다. 참여자가 매우 적으면 특정 유형의 사람이 아예 빠질 위험도 있기 때문입니다. 응답률은 결과의 정확성을 대신하는 점수로 쓰기보다, 접촉과 참여 과정에서 무엇을 확인해야 하는지 알려 주는 정보로 읽어야 합니다.
같은 설문에서도 항목마다 영향이 다를 수 있습니다
무응답 편향은 설문 전체에 똑같이 적용되는 하나의 점수처럼 생각하기 어렵습니다. 참여하지 않은 사람의 특성이 어떤 질문과는 밀접하게 관련되고 다른 질문과는 덜 관련될 수 있기 때문입니다. 한 항목에서 치우침이 발견됐다고 모든 항목이 같은 방향과 크기로 치우쳤다고 단정할 수는 없습니다.
Pew Research Center가 2017년 발표한 미국 전화조사의 낮은 응답률에 관한 연구는 정부 조사 등 비교 기준 자료와 전화조사 결과를 대조하고, 일부 대상의 유권자 자료를 연결해 응답자와 무응답자를 살폈습니다. 비교 기준과 가까운 결과를 보인 항목들이 있는 한편, 자원봉사 같은 시민 참여 활동은 과대 추정되는 양상이 나타났습니다. 이는 참여 차이가 모든 조사 항목에 같은 영향을 주지는 않는다는 사례입니다.
이 연구는 당시 미국 전화조사를 다룹니다. 비교 기준으로 삼은 조사에도 오차가 있을 수 있으며, 질문 표현과 조사 방식의 차이도 비교에 영향을 줍니다. 이 결과를 근거로 국내 온라인 고객 설문도 응답률이 낮아도 정확하다고 결론 내릴 수는 없습니다.
가중치를 적용했다는 설명도 한계를 함께 읽어야 합니다. 가중치는 응답자별로 결과에 반영되는 비중을 조정해, 연령 등 알려진 특성의 구성을 조사 대상 집단에 더 가깝게 맞추는 방법입니다. Pew 보고서는 가중치에 반영되지 않은 특성에서 응답자와 무응답자가 다르면 편향이 남을 수 있다고 설명합니다. 따라서 “보정했다”는 표시와 함께 무엇을 기준으로 보정했는지도 확인해야 합니다.
설문 문항 문제와 무응답 문제는 어떻게 다른가요?
질문을 명확하게 고치는 일과 참여 차이를 살피는 일은 확인할 대상이 다릅니다. AAPOR의 표준 정의 안내는 조사 대상에 접근할 수 있는 범위의 문제, 무응답의 영향, 문항 등 측정 도구의 문제를 구별합니다. 아래 표는 이 구분을 고객 설문에 적용한 가상 상황입니다. 실제 조사에서 편향을 판정하는 진단표는 아닙니다.
| 구분 | 문제가 생기는 단계 | 가상 상황 | 해석상 주의점 |
|---|---|---|---|
| 표집틀의 포괄 문제 | 조사 대상자를 뽑을 바탕인 명단을 구성하는 단계 | 알아보려는 고객 집단 일부가 초대 명단에서 빠짐 | 명단에 없는 고객은 참여 기회 자체가 없습니다. 명단 안에서 응답률이 높아도 이 누락은 남습니다. |
| 무응답 편향 | 선정된 대상에게 접촉하고 참여를 얻는 단계 | 초대받은 집단 중 특정 경험을 가진 사람이 덜 참여함 | 그 경험이 조사 항목과 관련되면 결과가 치우칠 수 있습니다. 참여율만으로 영향의 크기를 알 수는 없습니다. |
| 문항에 따른 측정 문제 | 질문을 제시하고 답을 받는 단계 | 상품 품질과 배송을 한 답으로 평가하게 함 | 응답을 받았어도 어느 대상의 평가인지 구분하기 어렵습니다. 참여자 구성과 별도로 문항을 살펴야 합니다. |
이 문제들은 한 조사에 함께 존재할 수 있습니다. 품질과 배송을 별개 문항으로 나눠도 초대 명단에서 빠진 고객이나 특정 고객의 참여 부족까지 해결되지는 않습니다. 한 답에 여러 평가를 묶었을 때 생기는 문제는 설문 이중질문이란? 두 가지를 한 답으로 물으면 생기는 문제에서 이어 읽을 수 있습니다.
결과의 적용 범위를 이해하려면 조사 대상과 모집 방식, 응답자 구성, 응답률 산정 기준, 보정 내용을 함께 읽으세요. 이는 AAPOR의 응답률 해설과 조사 방법 공개 권고를 고객 설문 보고서에 적용한 읽기 기준입니다. 누구의 의견을 알아보려 했는지, 누구에게 어떤 방식으로 참여를 요청했는지, 실제 응답에 어떤 사람이 포함됐는지를 연결해 보는 것입니다.
특히 응답률이라는 이름이 붙어 있어도 누구를 기준으로 계산했는지 확인해야 합니다. AAPOR는 응답률과 협조율, 완료율을 구별합니다. 보고서에 숫자만 있고 산정 기준이나 참여자 구성에 관한 설명이 없다면, 그 숫자만으로 전체 고객에게 결과를 확대할 근거는 충분하지 않습니다. 응답자가 보여 준 결과와 전체 고객에 대한 해석 사이에 어떤 확인이 더 필요한지 남겨 두어야 합니다.