불성실 응답 걸러내는 4가지 방법 — 무성의 응답 탐지

온라인 설문에는 피할 수 없는 문제가 있습니다. 일부 응답자가 문항을 제대로 읽지 않고 답한다는 것입니다. 이를 무성의 응답(careless responding)이라고 부르는데, 여러 연구를 종합하면 그 비율은 대략 10~12% 수준으로 보고됩니다. 열 명 중 한 명꼴입니다.

이 응답들을 그대로 두면 결과 전체가 오염됩니다. 특히 개인에게 결과를 돌려주는 검사라면, 대충 찍은 응답으로 만들어진 리포트를 그 사람이 자기 모습으로 받아들이게 되는 문제가 생깁니다.

지표 1 — 같은 답이 몇 번 연속되는가

가장 단순한 지표는 동일한 선택지가 연속으로 이어진 최대 길이입니다. 이를 longstring이라고 부릅니다. 스무 문항 내내 "3"만 눌렀다면 문항을 읽었다고 보기 어렵습니다.

문제는 몇 개부터 의심할 것인가입니다. 여기에는 절대적인 기준선이 없습니다. 검사 길이에 따라 자연스러운 연속 길이가 달라지기 때문입니다. 27문항 규모의 검사를 분석한 연구에서는 3~5회 연속을 컷으로 삼는 것이 적절했다고 보고했지만, 이 값을 100문항 검사에 그대로 옮길 수는 없습니다.

지표 2 — 얼마나 빨리 답했는가

두 번째는 응답 시간입니다. 문항당 2초 미만은 사실상 읽지 않았다고 보는 기준이 널리 쓰입니다. 문장을 읽고 자기 상태와 대조해 선택지를 고르는 데 그보다 짧은 시간은 물리적으로 부족하기 때문입니다.

다만 시간만으로는 불충분합니다. 천천히 답하면서도 성의 없이 답할 수 있고, 반대로 문항이 익숙하거나 자기 성향이 뚜렷한 사람은 빠르게 답하고도 정확할 수 있습니다. 이 지표는 다른 것과 함께 볼 때만 의미가 있습니다.

지표 3 — 답변이 너무 고르지 않은가

세 번째는 개인 내 응답 변산(IRV)입니다. 한 사람이 매긴 점수들의 표준편차를 보는 것인데, 이 값이 지나치게 낮으면 모든 문항에 비슷한 답을 했다는 뜻입니다. 시뮬레이션 연구에서는 1.26 근처를 컷으로 제안하기도 했습니다.

반대로 이 값이 지나치게 높은 것도 신호가 됩니다. 무작위로 아무 칸이나 눌렀다면 응답이 극단을 오가며 흩어지기 때문입니다. 즉 이 지표는 너무 낮아도, 너무 높아도 의심 대상입니다.

지표 4 — 대놓고 물어보기

가장 직접적인 방법은 지시형 확인 문항입니다. 문항 목록 사이에 "이 문항은 '전혀 아니다'를 선택해 주세요" 같은 문장을 끼워 넣는 것이죠. 읽지 않으면 통과할 수 없습니다.

효과는 상당히 강력합니다. 이런 문항을 2개 배치하면 완전 무작위 응답을 탐지할 확률이 .96, 3개면 거의 1.0에 가까워진다는 분석이 있습니다.

그럼에도 이 방법에는 반론이 따릅니다. 하나는 오탐 문제입니다 — 성실하게 답하던 사람도 잠깐 주의를 놓쳐 틀릴 수 있고, 한 연구는 실패자의 상당수가 실제로는 무성의하지 않았다고 보고했습니다. 다른 하나는 이런 문항이 등장한 이후 응답자의 태도 자체가 달라진다는 지적입니다. "감시받고 있다"고 느낀 뒤의 답변은 그 전과 성격이 다를 수 있습니다.

무성의 응답은 응답자만의 탓이 아니다

탐지 기술을 이야기하기 전에 짚어야 할 것이 있습니다. 무성의 응답의 상당 부분은 검사 설계가 만들어 낸다는 점입니다.

온라인 설문을 대상으로 한 실험은 예고된 소요 시간이 길수록 시작률과 완료율이 모두 떨어지고, 끝까지 답한 사람들의 후반부 응답 품질도 나빠진다는 것을 보여줬습니다. 문항이 늘어날수록 중도 이탈이 증가한다는 보고도 있고, 실무 데이터에서는 7~8분을 넘어가면서 포기가 늘어나는 경향이 관찰됩니다.

즉 100문항이 넘는 검사에서 후반부 응답이 부실해지는 것은 개인의 불성실이라기보다 예측 가능한 현상입니다. 검사를 만드는 쪽이 길이를 정할 때 이미 어느 정도의 무성의 응답을 예약하는 셈입니다.

흥미로운 관련 연구도 있습니다. 진행 표시줄에 관한 여러 실험을 종합한 분석에 따르면, 진행바를 그냥 붙이는 것만으로는 이탈이 유의하게 줄지 않았습니다. 다만 초반에 빠르게 차오르다 후반에 느려지는 방식은 이탈을 줄였고, 반대 방식은 오히려 늘렸습니다. 응답자가 남은 부담을 어떻게 지각하느냐가 실제 행동을 바꾼다는 뜻입니다.

그래서 하나만 쓰지 않는다

네 지표 모두 단독으로는 불완전합니다. 그래서 현재의 표준은 복수 지표를 함께 쓰는 것입니다. 여러 지표를 조합하면 성실한 응답을 잘못 걸러 낼 확률을 낮게 유지하면서 무성의 응답을 잡아낼 수 있다는 것이 시뮬레이션 연구의 결론입니다.

조합의 방식도 중요합니다. 지표 하나만 걸린 응답까지 모두 배제하면 성실한 응답을 대거 잃게 되고, 반대로 모든 지표에 걸린 경우만 배제하면 대부분의 무성의 응답을 놓칩니다. 그래서 실무에서는 여러 지표를 함께 보되 특이도를 높게 유지하는 조합을 찾는 방식이 쓰입니다.

중요한 것은 걸러 내는 방식입니다. 의심스러운 응답을 자동으로 삭제하기보다, 결과의 신뢰 수준을 함께 알리거나 다시 응답할 기회를 주는 편이 응답자에게 정직합니다. 탐지 지표는 사람을 판정하는 도구가 아니라 데이터의 상태를 알려 주는 신호이기 때문입니다.

결과의 질은 응답의 질을 넘지 못한다

이 지표들이 존재한다는 사실 자체가 응답자에게 주는 정보도 있습니다. 검사 결과가 "생각보다 안 맞는다"고 느껴질 때, 원인이 검사에만 있는 것은 아닐 수 있다는 것입니다. 피곤한 상태로 빠르게 넘긴 구간, 비슷한 문항이 반복된다고 느껴 대충 답한 구간이 있었다면 그 부분의 점수는 실제보다 부정확합니다. 특히 후반부에 몰려 있다면 더 그렇습니다.

아무리 정교한 검사도 입력이 부실하면 출력이 부실합니다. 검사에 답할 때 조용한 환경에서, 한 번에 몰아치기보다 집중할 수 있는 만큼만, 이상적인 자신이 아니라 실제 자신을 떠올리며 답하는 것 — 이 단순한 조건들이 어떤 통계적 보정보다 결과를 정확하게 만듭니다.