설문을 배포하기 전에는 응답자가 질문을 의도대로 이해하고 답할 수 있는지, 조사 절차가 실제로 작동하는지를 함께 확인해야 합니다. 인지면접은 질문 해석과 답을 떠올리는 과정을, 사용성 테스트는 화면 이용과 완료 과정의 막힘을 살핍니다. 파일럿 조사는 모집부터 응답 수집과 데이터 정리까지 시험합니다. 본조사 대상과 비슷한 사람에게 실제 배포 방식으로 시험하고, 발견한 문제를 수정한 뒤 다시 확인하는 것이 핵심입니다.
사전검사에서는 답변 과정과 운영 과정을 함께 봅니다
팀원이 설문을 읽고 제출에 성공했다면 접속과 제출 기능의 일부는 확인한 셈입니다. 하지만 그 사실만으로 고객도 같은 뜻으로 질문을 이해했다고 판단할 수는 없습니다. 질문을 다르게 해석하거나 적절한 보기를 찾지 못한 채 제출했을 가능성까지 살펴야 합니다.
미국 조사연구 학회 AAPOR의 조사연구 권고는 질문지 사전검사에서 응답자의 해석과 답변 과정을 살피고, 파일럿에서는 조사 절차 전체가 의도대로 작동하는지 확인하도록 안내합니다. 아래 표는 이 원칙과 영국 Government Analysis Function의 검사 설명을 온라인 설문에 적용한 정리입니다.
| 방법 | 확인 목적 | 살펴볼 장면 | 남길 결과 |
|---|---|---|---|
| 인지면접 | 질문을 어떻게 이해하고 답을 정하는지 확인 | 기간이나 용어를 해석하고, 경험을 떠올려 보기를 고르는 과정 | 해석이 갈린 표현, 떠올리기 어려운 정보, 부족한 보기 |
| 사용성 테스트 | 설문 화면을 이용하고 완료할 수 있는지 확인 | 보기 선택, 화면 이동, 안내문 확인 중 멈추거나 되돌아가는 행동 | 막힌 화면 위치, 조작 문제, 완료에 필요한 안내 |
| 파일럿 조사 | 조사 운영 절차가 연결되는지 확인 | 모집과 접속, 응답에 따른 문항 표시, 제출과 데이터 정리 | 운영 오류, 분기 문제, 소요 시간과 데이터 처리상의 문제 |
이 구분은 무엇을 확인할지 정하기 위한 것이며, 세 방법을 반드시 별개의 행사로 진행해야 한다는 뜻은 아닙니다. 기관별로 용어의 범위가 겹치기도 합니다. 영국의 질문지 설계 안내는 질문 이해와 화면 이용이 서로 영향을 주므로 인지 검사와 사용성 검사를 같은 세션에서 함께 수행하는 방식을 권합니다. 예를 들어 선택 표시의 모양 때문에 복수 응답이 가능하다고 이해했다면, 화면과 질문 해석을 함께 살펴야 합니다.
본조사 대상과 비슷한 사람, 실제 설문 환경을 준비합니다
AAPOR는 사전검사 참여자를 본조사 대상과 유사한 사람으로 구성하도록 안내합니다. 온라인 고객조사라면 팀 내부 검토 다음에 실제 대상 고객과 비슷한 이용 경험을 가진 사람이 어떻게 답하는지 확인해야 합니다. 서비스 용어에 익숙한 팀원의 이해를 고객 전체의 이해로 대신하지 않는 것입니다.
영국 질문지 설계 안내는 가능하면 실제 조사에 사용할 방식으로 전체 질문지를 시험하도록 권합니다. 전체 시험이 어렵다면 서로 관련된 문항을 함께 확인합니다. 질문 하나만 떼어 놓으면 앞선 질문과 순서가 답에 미치는 영향을 충분히 보기 어렵기 때문입니다.
다음은 이 원칙을 온라인 고객조사 준비에 적용한 항목입니다. 특정 인원수를 정하는 기준이 아니라, 어떤 참여자와 경로를 시험할지 적는 용도로 사용하세요.
- 이용 경험과 용어 친숙도: 본조사가 누구를 대상으로 하는지 적고, 그 안에서 처음 이용한 사람과 익숙한 사람처럼 해석이 달라질 수 있는 조건을 확인합니다.
- 응답 기기와 방식: 실제로 사용할 휴대전화나 컴퓨터에서 설문 링크를 열도록 준비합니다. 문서로 질문만 읽는 검사와 온라인 폼을 직접 이용하는 검사를 구분합니다.
- 확인할 분기 경로: 분기는 앞선 답에 따라 다음 문항이 달라지는 구조입니다. 이용 경험이 있는 사람과 없는 사람이 각각 어떤 질문으로 이동해야 하는지 적습니다.
- 문항의 앞뒤 맥락: 확인할 질문 앞의 안내와 관련 문항을 포함합니다. 일부만 시험한다면 제외한 구간도 기록해 검사 범위를 분명히 합니다.
“쉬웠나요?”보다 해석과 선택 과정을 묻습니다
인지면접에서는 최종 답뿐 아니라 그 답을 만든 과정을 듣습니다. 영국의 원격 설문 문항 검사 안내는 참여자가 과제를 수행하며 생각을 말하도록 하고, 진행자가 행동을 관찰하면서 후속 질문으로 더 살피는 방법을 설명합니다. “질문이 쉬웠나요?”라는 평가만으로는 어느 표현이나 보기가 문제인지 알기 어렵습니다.
다음은 설명을 위해 만든 가상 문항입니다. 실제 조사에서 사용하거나 결과를 얻은 사례가 아닙니다.
“최근 서비스를 자주 이용하셨나요?”
참여자가 이 질문에 답한 뒤, 다음과 같이 물어볼 수 있습니다. 질문의 의도나 원하는 답을 먼저 알려주기보다 참여자가 이해한 내용을 듣는 데 초점을 둡니다.
- “최근을 어떤 기간으로 생각했나요?”: 응답자가 떠올린 기간이 조사에서 확인하려는 기간과 맞는지 살핍니다.
- “답을 어떻게 정했나요?”: 어떤 이용 경험을 떠올렸고 무엇을 기준으로 ‘자주’라고 판단했는지 듣습니다.
- “맞는 보기를 찾을 수 있었나요?”: 자신의 경험을 표현할 선택지가 있었는지 확인합니다.
동시에 화면에서 일어난 행동도 적습니다. 보기를 여러 번 바꾸는지, 다음 화면으로 이동하지 못하는지, 앞선 안내를 다시 찾는지 살펴보세요. 멈췄다는 관찰만으로 용어를 이해하지 못했다고 단정하지 말고, 그때 무엇을 생각했는지 후속 질문으로 확인합니다. 문항의 뜻이 모호한 문제와 버튼을 찾기 어려운 문제는 수정할 대상이 다릅니다.
원격으로 진행한다면 음성과 화면 공유가 작동하는지 미리 시험합니다. 다만 화상회의나 화면 공유를 사용할 수 있는 사람만 참여하면 디지털 기기 활용 능력이 낮은 대상자의 어려움을 놓칠 수 있습니다. 해당 안내도 이 한계를 지적합니다. 검사 방식 때문에 빠진 대상이 있는지 살피고, 필요한 경우 대상자가 이용할 수 있는 다른 진행 방식을 검토하세요.
파일럿은 모집부터 데이터 정리까지 돌려 봅니다
문항을 이해할 수 있어도 초대 링크에 접속하지 못하거나 잘못된 후속 문항이 표시되면 본조사 운영에 문제가 생깁니다. AAPOR는 파일럿에서 모집, 조사 실시, 데이터 정리 등 모든 조사 절차가 의도대로 작동하는지 시험하도록 권합니다. 영국 질문지 설계 안내도 파일럿에서 설문의 형식, 응답에 따른 문항 분기, 길이의 문제를 확인한다고 설명합니다.
온라인 설문에서는 이를 다음 순서로 적용할 수 있습니다. 아래 항목은 원문의 운영 시험 원칙을 구체화한 적용안이며, 정해진 통과율이나 완료 시간 기준은 아닙니다.
- 초대에서 접속까지: 준비한 참여 안내와 링크를 통해 대상자가 실제 설문에 도달할 수 있는지 확인합니다. 접속 전에 막힌 지점도 운영 문제로 남깁니다.
- 응답에서 다음 문항까지: 앞서 정한 분기 경로별로 해당자에게 필요한 문항이 나오고, 해당하지 않는 문항은 건너뛰는지 확인합니다.
- 시작에서 완료까지: 완료에 걸린 시간과 오래 머문 구간을 확인합니다. 오래 걸렸다면 문항 수 때문인지, 회상이나 화면 이용이 어려웠기 때문인지 추가로 살핍니다.
- 제출에서 데이터 정리까지: 저장된 응답을 꺼내 문항과 보기의 의미를 알아볼 수 있는지, 분석에 사용할 형태로 정리할 수 있는지 확인합니다.
마지막 단계에서는 빈 응답과 ‘해당 없음’ 같은 실제 선택값을 구별할 수 있는지도 봅니다. AAPOR는 무응답을 ‘모름’이나 ‘응답하고 싶지 않음’ 등의 보기와 다른 값으로 표시하도록 안내합니다. 제출 화면이 정상이라는 확인에서 멈추지 않고, 수집된 값의 의미가 유지되는지까지 보는 이유입니다.
관찰한 문제를 수정 이유와 재확인 결과로 연결합니다
Pew Research Center의 설문 문항 작성 안내는 질문지 개발을 반복적인 과정으로 설명하며, 사전검사에서 얻은 내용을 본조사 문항 수정에 사용한다고 밝힙니다. 영국 질문지 설계 안내 역시 설문이 응답자의 필요를 충족하지 못하면 다듬고 다시 시험하도록 안내합니다. 피드백을 받았다는 사실보다 무엇을 바꾸고 다시 확인했는지가 중요합니다.
아래는 이 원칙을 적용해 만든 수정 기록표입니다. 원문에 실린 공식 양식이 아니며, 내용도 모두 가상 예시입니다. 실제 검사를 진행할 때는 참여자의 발언과 행동을 기록하고, 담당자의 문제 해석을 별도 칸에 적으세요.
| 문항 또는 화면 위치 | 관찰 또는 발언 | 문제 해석 | 수정안 | 재확인 결과 |
|---|---|---|---|---|
| 이용 빈도 문항의 ‘최근’ | 한 참여자는 지난주, 다른 참여자는 올해를 떠올렸다고 말함 | 응답마다 기준 기간이 달라질 수 있음 | 조사 목적에 맞는 시작일과 종료일을 문항에 명시 | 미실시. 같은 질문 흐름에서 기간 해석을 다시 물어본 뒤 기록 |
| 이용 경험이 없다는 답 이후 화면 | 이용 경험이 없다고 선택했는데 이용 만족도 문항이 표시됨 | 대상에 맞지 않는 분기 설정 가능성 | 미이용자가 이동할 후속 문항을 확인하고 분기 수정 | 미실시. 이용자와 미이용자 경로를 각각 다시 시험한 뒤 기록 |
기간을 명시했더라도 ‘자주’라는 표현의 해석 문제는 남을 수 있습니다. 이용 횟수를 알고 싶은 것인지, 본인이 느끼는 이용 빈도를 알고 싶은 것인지 조사 목적을 먼저 확인하고 문항과 보기를 수정해야 합니다. 수정한 질문은 앞뒤 문항과 함께 다시 시험하고, 분기를 바꿨다면 영향을 받는 경로도 다시 확인합니다.
배포 여부를 검토할 때는 아직 해결되지 않은 문제와 시험하지 않은 경로를 먼저 확인하세요. 질문을 다르게 해석하는 문제가 남으면 인지면접으로, 화면 이용의 막힘이 남으면 사용성 테스트로 돌아가 원인을 더 살핍니다. 모집이나 저장 절차를 바꿨다면 해당 운영 과정도 다시 돌려 봅니다.
사전검사를 끝냈다는 사실만으로 표본이 대상 집단을 대표한다거나 척도가 측정하려는 개념을 타당하게 측정한다고 결론 내릴 수는 없습니다. 이 글의 검사와 기록표는 문항과 운영상의 문제를 찾고 수정하기 위한 도구입니다. 모든 조사에 공통으로 적용할 참여 인원이나 합격 점수는 제시하지 않습니다.
출처
- AAPOR — Best Practices for Survey Research
- Government Analysis Function — Questionnaire design guidance (2023년 3월 14일 발행. 원문에 검토 및 갱신 대기 표시가 있음)
- Government Analysis Function — Remote testing survey questions (2020년 5월 1일 발행)
- Pew Research Center — Writing Survey Questions