강제선택(ipsative) 측정 — 둘 중 하나 고르기의 장단점

심리 측정에는 크게 두 가지 응답 방식이 있습니다. 하나는 각 항목에 독립적으로 점수를 매기는 방식이고, 다른 하나는 여러 항목 중 하나를 고르게 하는 방식입니다. 앞의 것을 규준적(normative), 뒤의 것을 자기기준적(ipsative) 측정이라고 부릅니다.

밸런스 게임처럼 둘 중 하나를 고르는 형식이 재미있는 콘텐츠로만 보일 수 있지만, 이 방식에는 측정 이론상의 근거와 한계가 모두 존재합니다.

왜 점수 매기기로는 부족한가

각 항목에 따로 점수를 매기는 방식의 문제는 가치 측정에서 특히 두드러집니다. "정직은 얼마나 중요합니까"라고 물으면 거의 모두가 높은 점수를 줍니다. 안전도, 성취도, 가족도 마찬가지입니다.

이렇게 모든 항목이 상단에 몰리면 사람들 사이의 차이가 사라집니다. 통계적으로는 천장 효과라고 부르는 현상인데, 결과적으로 "당신은 모든 가치를 중요하게 여깁니다"라는 쓸모없는 결론에 도달합니다.

더 근본적인 문제는 실제 삶이 그런 식으로 작동하지 않는다는 점입니다. 안정된 직장과 새로운 도전 중 하나를 골라야 하는 순간에, 둘 다 중요하다는 답은 아무것도 결정해 주지 않습니다.

강제선택이 얻는 것

둘 중 하나를 고르게 하면 이 문제들이 상당 부분 해소됩니다. 응답자는 자기 안에서 순위를 매길 수밖에 없고, 그 순위가 곧 정보가 됩니다.

또 하나 자주 언급되는 장점은 좋게 보이려는 편향에 덜 휘둘린다는 점입니다. 사회적으로 바람직해 보이는 두 선택지를 나란히 놓으면 양쪽 모두에 "그렇다"고 답할 수 없기 때문입니다. 여러 연구를 종합한 분석들은 강제선택 형식이 점수 부풀리기와 사회적 바람직성 편향을 줄이는 경향이 있다고 보고합니다.

강제선택이 잃는 것

대가도 분명합니다. 그리고 이 대가는 흔히 언급되지 않습니다.

가장 큰 문제는 개인 간 비교가 어려워진다는 점입니다. 총점이 일정하게 고정되기 때문에, 어떤 항목이 올라가면 다른 항목은 반드시 내려갑니다. 그 결과 이 방식으로 얻은 점수는 "이 사람 안에서 무엇이 앞서는가"를 말해 주지만 "이 사람이 남들보다 어떤 가치를 더 중시하는가"는 말해 주지 못합니다.

기술적으로는 항목들 사이의 공분산 합이 0이 되도록 강제되며, 이 때문에 신뢰도 계산과 요인분석 결과가 왜곡될 수 있다는 지적이 오래 있어 왔습니다. 다루는 항목 수가 많아지면 이 왜곡이 완화된다는 시뮬레이션 연구도 있습니다.

실무적인 함의는 분명합니다. 강제선택으로 얻은 결과에 백분위를 붙여 "당신은 상위 20%의 성취 지향입니다"라고 말하는 것은 통계적으로 부적절합니다. 그 값은 애초에 남들과 비교하도록 만들어진 값이 아니기 때문입니다.

이론가가 직접 검증한 형식

가치 측정에서 강제선택이 특별한 지위를 갖는 이유가 하나 있습니다. 이론을 만든 연구자가 직접 이 방식을 검증했다는 점입니다.

Schwartz는 공동 저자로 참여한 연구에서, 여러 항목 중 가장 나다운 것과 가장 아닌 것을 고르게 하는 형식의 가치 척도를 개발했습니다. 세 개의 연구를 통해 확인된 것은, 이런 강제선택 자료에서도 가치의 원형 구조가 그대로 재현된다는 사실이었습니다.

이것은 중요한 결과입니다. 강제선택이 단지 재미있는 형식이 아니라, 이론이 예측하는 구조를 잡아낼 수 있는 측정 방식임을 이론의 창시자 쪽에서 확인한 셈이기 때문입니다.

중간 지대의 방법들

두 방식의 장단점이 뚜렷하다 보니, 절충하려는 시도들도 있습니다.

• 통계 모형으로 복원하기 — 강제선택 자료에서 개인 간 비교가 가능한 점수를 추정해 내는 모형이 제안돼 있다.
• 두 형식 섞기 — 일부 문항은 점수 매기기로, 일부는 강제선택으로 구성하는 방식.
• 블록 단위 선택 — 서너 개 항목을 한 묶음으로 제시하고 그중 가장·가장 아닌 것을 고르게 하는 방식. 한 번에 더 많은 정보를 얻는다.

국내 공공 직업가치관 검사 가운데도 28개 문항 전부를 두 가치 중 하나를 고르는 방식으로 구성한 사례가 있습니다. 강제선택이 실험적인 형식만은 아니라는 것을 보여 줍니다.

성격 측정에는 왜 잘 쓰지 않는가

가치 측정에서 강제선택이 자연스러운 반면, 성격 특성 측정에서는 여전히 점수 매기기가 표준입니다. 이 차이에는 이유가 있습니다.

가치는 본래 우선순위의 문제입니다. 무엇이 무엇보다 앞서는가가 곧 그 사람의 가치관이므로, 개인 내 순위를 재는 방식이 대상의 성격과 맞아떨어집니다. 반면 성격 특성은 그렇지 않습니다. 외향성이 높은 사람이 반드시 성실성이 낮아야 할 이유가 없습니다. 다섯 축은 서로 독립적으로 움직이며, 다 높은 사람도 다 낮은 사람도 존재합니다.

그런데 강제선택은 구조적으로 총점을 고정하기 때문에, 다섯 축이 모두 높은 사람을 표현할 방법이 없습니다. 한 축을 올리면 다른 축이 내려가야 하니까요. 독립적인 특성에 이 방식을 쓰면 존재하지 않는 상충 관계를 만들어 내는 셈입니다.

측정 방식은 재려는 대상의 성질에 맞춰야 한다는 원칙이 여기서 드러납니다. 어떤 형식이 절대적으로 우월한 것이 아니라, 대상과 형식의 궁합이 있습니다.

어떤 결과를 기대해야 하나

강제선택 방식의 결과를 볼 때 기억해 둘 것은 그것이 순위표라는 점입니다.

"자율이 1위"라는 결과는 내가 자율을 남들보다 많이 중시한다는 뜻이 아니라, 내 안에서 자율이 다른 가치들보다 앞선다는 뜻입니다. 그리고 상위와 하위의 차이가 늘 극적인 것도 아닙니다. 근소한 차이로 갈린 2위와 3위를 다른 성격의 것으로 읽을 필요는 없습니다.

오히려 유용한 것은 목록의 양 끝입니다. 최상위와 최하위에 무엇이 왔는지, 그리고 그 둘이 원형 구조에서 마주 보는 위치인지를 보면 자기 성향의 방향이 드러납니다. 순위 전체를 외우는 것보다 이 대비 하나를 기억하는 편이 실제 결정에서 더 쓸모 있습니다.