설문지 작성법

질문 하나가 데이터의 진실을 결정한다

생각을 측정하는 과학, 설문 설계의 모든 것
데이터의 철학·설계의 과학·연구의 윤리까지, 진실을 비추는 거울을 만드는 완벽한 로드맵

우리는 질문을 통해 타인의 생각을 이해하고 사회의 방향을 가늠하며 스스로를 성찰한다. 기업은 질문으로 시장을 읽고, 정부는 질문으로 정책의 정당성을 묻고, 개인은 질문을 통해 자신의 상태를 점검한다. 이처럼 설문은 세상을 이해하는 가장 보편적인 도구이지만, 동시에 가장 쉽게 오용되는 도구이기도 하다. 같은 사안을 두고 조사 기관마다 전혀 다른 결과가 나오는 이유는 무엇일까. 그 원인은 대부분 질문 그 자체에 있다. 질문의 표현, 보기의 구성, 문항의 배열 방식에 따라 응답은 극적으로 달라지며, 잘못 설계된 질문은 현실을 비추는 거울이 아니라 왜곡된 요술 거울이 된다. 이 책은 바로 그 지점에서 출발한다. 우리가 얻고 있는 설문 데이터는 과연 진실을 반영하고 있는가라는 근본적인 물음이다.
저자는 설문을 단순한 문항 작성 기술이 아니라 인간의 인지 과정과 측정 이론이 결합된 과학적 설계 행위로 정의한다. 좋은 질문은 문장이 매끄럽다고 완성되지 않는다. 응답자가 질문을 어떻게 이해하고, 기억에서 정보를 어떻게 인출하며, 어떤 판단을 거쳐 답을 선택하는지를 고려해야 한다. 설문 응답이 ‘이해·인출·판단·응답’이라는 네 단계의 인지 과업을 거친다는 점을 밝히고, 각 단계에서 발생할 수 있는 오류를 체계적으로 설명한다. 이를 통해 설문지가 왜 사소한 표현 하나로도 신뢰성을 잃을 수 있는지를 논리적으로 보여 준다.
이 책은 총 10장에 걸쳐 좋은 질문이 탄생하기까지의 과정을 네 단계로 안내한다. 먼저 측정의 철학과 기본 원칙을 통해 좋은 질문의 기준을 세운다. 질문은 명확해야 하고, 응답 가능해야 하며, 솔직한 응답을 이끌어낼 수 있어야 한다. 이어 개방형 질문과 폐쇄형 질문의 전략적 선택, 객관식 보기의 포괄성과 상호 배타성, 양극형·단극형 척도의 구분, 효과적인 평가 척도 설계 등 실무자가 반드시 알아야 할 핵심 기술을 다룬다. 나쁜 질문의 전형, 유도 질문과 이중 질문의 위험성, 민감한 질문에 대한 응답률을 높이는 방법, 문항 순서에 따른 맥락 효과 역시 구체적으로 분석한다.
마지막으로 설문지가 과학으로 인정받기 위한 검증과 윤리의 문제를 강조한다. 사전조사, 인지 면접, 전문가 검토를 통해 질문의 허점을 사전에 점검하고, 응답자의 권리를 존중하는 윤리 원칙을 설문의 핵심 요소로 다룬다. 질문은 중립적인 도구가 아니라 응답자의 시간과 생각을 요구하는 힘이라는 점을 분명히 한다. 좋은 질문이란 정확한 설계와 함께 응답자를 향한 존중이 결합될 때 완성된다. 신뢰할 수 있는 데이터를 만들고자 하는 모든 연구자와 실무자를 위한 가장 기본적이면서도 가장 깊이 있는 안내서다.

설문은 가장 널리 쓰이지만 가장 쉽게 왜곡되는 조사 도구다. 이 책은 질문 하나가 응답을 어떻게 바꾸는지를 인지 과정과 측정 이론을 통해 설명한다. 좋은 질문의 원칙, 보기와 척도 설계, 나쁜 질문의 함정, 문항 순서와 맥락 효과, 사전조사와 윤리까지 설문지 설계의 전 과정을 체계적으로 정리했다. 신뢰할 수 있는 데이터를 만들고자 하는 연구자와 실무자를 위한 필수 안내서다.

오승호
20여 년간 조사회사에서 ‘서베이 컨설턴트’로 일하고 있다. 한국외국어대학교 러시아어과에서 학사학위를, 서강대학교 정치외교학과에서 석사학위를 받았다. 대학 2학년 시절 정치학방법론 강의에서 설문지 작성에 대한 강의에 큰 흥미를 느꼈고, 이후 관련 일을 업으로 삼고자 사회 조사분석사 2급(2002.11.11)을 취득했다. 연구 논문으로는 “웹기반 선거여론조사의 쟁점과 신뢰성 제고방안 연구”(조성겸·오승호. 2021), “Web Survey Sampling Methods that Minimize Political Bias: PPS with Benchmarking Weight as a Size Variable”(Park Seunghwan·Oh Seungho, 2024 WAPOR CONFERENCE) 등이 있다. 서베이 방법론에 전반적으로 관심이 많으며, 특히 웹서베이에 대한 열정은 ‘덕후’ 수준이라는 주위의 평가를 듣곤 한다. 서베이 방법론과 관련해 개인 블로그(https://method-survey.blogspot.com/)도 운영하고 있다.

생각을 측정하는 도구의 진화

01 좋은 질문의 목표와 기본 원칙
02 질문에 답하는 4단계 인지 과정
03 개방형 질문과 폐쇄형 질문
04 객관식 보기의 원칙
05 효과적인 평가 척도 설계하기
06 나쁜 질문 피하기
07 민감한 주제에 대한 응답률 높이기
08 문항 순서의 마법
09 질문지 검증과 실패 예방, 사전조사
10 질문의 윤리

결국 이 모든 원칙들이 지향하는 단 하나의 목표는 바로 ‘측정의 표준화(Standardization)’다. 이는 설문조사가 과학으로 인정받기 위한 가장 근본적인 전제 조건이다. 플로이드 파울러는 표준화된 측정이란 “서로 다른 응답자들에게서 나온 응답의 차이가, 그들이 질문을 다르게 해석했기 때문이 아니라, 측정하려는 속성 자체의 실제 차이를 반영하는 것”이라고 정의한다.
“01_좋은 질문의 목표와 기본 원칙” 중에서

두 번째 단계는 정보의 인출(Retrieval)이다. 질문을 이해한 응답자는 자신의 장기 기억(long-term memory) 속에서 관련 정보를 검색하고 끄집어내는 과정을 시작한다. 하지만 인간의 기억은 완벽한 비디오테이프가 아니라 시간이 지나면서 희미해지고(fading), 다른 기억과 뒤섞이며(interference), 현재의 시점에서 재구성되는 불완전한 기록이다. “지난 1년간 치약을 몇 개나 구매하셨습니까?”와 같이 사소하고, 반복적이며, 오래된 사건일수록 정확한 기억을 인출하기는 극도로 어려워진다. 이때 응답자들은 기억에 의존하는 대신 ‘보통 한 달에 치약을 하나 정도 쓰니까, 작년에는 열두 개쯤 썼겠군’과 같이 어림짐작(estimation)이라는 인지적 전략을 사용하게 되며, 이 추정 과정은 필연적으로 오차를 동반한다. 연구자는 응답자의 기억 부담을 최소화할 수 있도록 질문의 기간을 합리적인 수준(예: 지난 한 달)으로 좁혀 주거나, ‘이사를 오신 이후로’와 같이 특정 기준점을 제시하여 기억을 더듬을 수 있는 단서를 제공하는 노력을 기울여야 한다.
“02_질문에 답하는 4단계 인지 과정 ” 중에서

개방형 질문은 바로 이 폐쇄형 질문의 위험을 보완하는 중요한 역할을 한다. 가장 큰 장점은 연구자가 미처 예상하지 못했던 새롭고 풍부한 답변을 얻을 수 있다는 점이다. 응답자는 자신의 언어로 생각의 결을 섬세하게 표현할 수 있으며, 연구자는 이를 통해 현상에 대한 깊이 있는 통찰을 얻게 된다. 특히, 특정 주제에 대한 사전 정보가 부족한 탐색적 연구(Exploratory research) 초기 단계나, 특정 행동의 ‘왜(Why)’에 해당하는 이유나 동기를 파악하고자 할 때 개방형 질문은 탁월한 힘을 발휘한다. 예를 들어 “A 제품을 구매한 이유가 무엇입니까?”라는 개방형 질문은 마케팅 담당자가 전혀 생각지 못했던 새로운 고객 가치를 발견하게 해 줄 수 있다. 또한 응답자의 생생한 언어는 통계 수치만으로는 전달할 수 없는 강력한 설득력을 가지며, 보고서의 질을 높이는 데 기여한다.
“03_개방형 질문과 폐쇄형 질문” 중에서

효과적인 평가 척도를 설계하는 것은 단편적인 규칙의 적용이 아닌, 종합적인 설계 과정이다. 연구자는 측정하려는 개념의 속성(단극형인가 양극형인가), 응답자의 특성(어린이인가 성인인가), 그리고 분석의 목적을 모두 고려하여 척도점의 개수를 결정해야 한다. 또한 중간점을 포함할 것인지, 제외할 것인지에 대한 논쟁을 이해하고, 자신의 연구 목적에 더 부합하는 방식을 선택해야 한다. 하지만 가장 중요한 것은 어떤 선택을 하든 모든 응답자가 각 눈금의 의미를 동일하게 이해할 수 있도록 명확하고 완전한 어휘를 제공하려는 노력을 게을리해서는 안 된다는 점이다.
“05_효과적인 평가 척도 설계하기” 중에서

위에 제시된 함정들은 설문지를 작성하는 누구나 쉽게 빠질 수 있는 실수들이다. 따라서 연구자는 자신이 만든 질문을 응답자의 눈으로 끊임없이 다시 읽어보는 ‘자기 검열’의 과정을 거쳐야 한다. 설문지는 연구의 목적을 달성하기 위한 과학적 ‘측정 도구’이며, 모든 측정 도구는 사용 전에 반드시 오차를 점검하고 영점을 맞추는 ‘보정(calibration)’ 과정을 거친다. 질문 설계에서 자기 검열과 이후에 다룰 사전조사는 바로 이 보정 과정에 해당한다. 연구의 맥락을 전혀 모르는 사람의 입장에서 질문을 소리 내어 읽어보는 것은 좋은 방법이다.
“06_나쁜 질문 피하기” 중에서

질문 순서가 유발하는 맥락 효과는 크게 두 가지 상반된 방향으로 나타난다. 앤서니 오펜하임(Anthony N. Oppenheim)은 이를 응답자가 앞선 질문과 뒤따르는 질문을 어떻게 연관시키는지에 따라 달라진다고 설명한다. 첫 번째는 동화 효과(Assimilation Effect)다. 이는 뒤따르는 질문에 대한 응답이 앞선 질문에 대한 응답과 유사해지거나 일관성을 가지려는 방향으로 나타나는 현상이다. (…) 두 번째는 대조 효과(Contrast Effect)다. 이는 반대로, 뒤따르는 질문에 대한 응답이 앞선 질문과 더욱 대조되거나 멀어지는 방향으로 나타나는 현상이다. 이는 앞선 질문이 응답자에게 강력한 ‘비교 기준’을 설정해 줄 때 발생한다.
“08_문항 순서의 마법” 중에서

사전조사의 목표는 단순히 오탈자를 찾아내는 것이 아니다. 응답자의 입장에서 설문지의 모든 문제점을 찾아내어 앞선 장들에서 논의했던 ‘좋은 질문’의 원칙들이 제대로 지켜졌는지를 경험적으로 검증하는 과정이다. 주요 점검 목록에는 질문의 명확성(단어를 오해하지 않는가?), 응답의 용이성(답하기에 부담스럽지 않은가?), 응답자의 감정 및 태도(불쾌하거나 위협적으로 느끼지 않는가?), 질문의 흐름(순서가 논리적인가?) 등이 포함된다. 연구자는 하나의 완벽한 방법론에 의존하기보다 여러 사전조사 기법을 ‘도구 상자’의 도구처럼 조합하여 사용하는 것이 바람직하다.
“09_질문지 검증과 실패 예방, 사전조사” 중에서

설문조사는 그 어떤 경우에도 응답자에게 신체적, 정신적, 사회적 피해를 주어서는 안 된다. 연구자는 응답자가 특정 질문으로 인해 과도한 스트레스나 불안감, 수치심을 느끼지 않도록 주의를 기울여야 한다. 특히 트라우마나 불법 행위 등 민감한 주제를 다룰 때는 더욱 세심한 접근이 필요하며, 응답자가 원치 않을 경우 즉시 해당 주제를 넘어갈 수 있도록 해야 한다. 또한 응답자의 시간은 소중한 자원이므로, 불필요한 질문으로 설문 길이를 늘려 응답자를 지치게 하거나 그들의 시간을 낭비하게 해서는 안 된다. 연구 목적과 무관하게 너무 긴 설문을 진행하는 것 자체가 응답자의 시간을 착취하는 비윤리적 행위가 될 수 있다.
“10_질문의 윤리” 중에서