심리검사 백분위와 규준(norm) — 높다의 기준은 무엇인가

"당신의 외향성은 높은 편입니다"라는 문장을 받았다고 해봅시다. 여기서 즉시 떠올려야 할 질문이 있습니다 — 누구와 비교해서 높다는 것일까요?

심리검사의 원점수는 그 자체로는 아무 의미가 없습니다. 20점 만점에 14점이 높은 점수인지 낮은 점수인지는, 다른 사람들이 대체로 몇 점을 받는지를 알아야만 판단할 수 있습니다. 이 비교 기준을 규준(norm)이라고 부릅니다.

원점수에서 백분위로

규준을 적용하는 가장 흔한 방식은 백분위 변환입니다. "100명 중 78명보다 높다"는 식의 표현이죠. 여기서 한 단계 더 나아가면 표준점수가 됩니다.

• T점수 — 평균 50, 표준편차 10으로 맞춘 값. 심리검사에서 널리 쓰인다.
• 스텐(sten) — 평균 5.5, 표준편차 2인 1~10 척도. 구간이 넓어 해석이 단순하다.

스텐을 예로 들면, 4~7 구간이 평균에서 표준편차 1 이내에 해당하며 전체 인구의 약 68%가 여기 들어갑니다. 결과지에서 "보통" 범위가 넓게 잡히는 것은 실제 사람들의 분포가 그렇기 때문입니다.

표본이 몇 명이면 충분한가

규준은 사람들의 점수를 모아 만듭니다. 그렇다면 몇 명분을 모아야 믿을 만할까요. 유럽심리학회연맹(EFPA)의 검사 리뷰 기준은 이를 구체적인 숫자로 제시합니다.

• 200명 미만 — 부적절
• 200~299명 — 적절
• 300~999명 — 양호
• 1,000명 이상 — 우수

연령대나 성별 같은 하위집단별로 규준을 나눌 때는 각 집단마다 이만큼이 필요하므로 요구량이 훨씬 커집니다. 다만 통계적 기법을 쓰면 집단당 70~150명 수준으로도 동등한 정밀도를 얻을 수 있다는 연구가 있습니다.

오래된 규준은 왜 위험한가

표본 크기만큼 중요한 것이 규준의 나이입니다. 같은 EFPA 기준은 만들어진 지 10년 미만인 규준을 우수로, 20년 이상 된 규준을 부적절로 분류합니다.

이유는 사람들의 응답 경향 자체가 시대에 따라 변하기 때문입니다. 20년 전 사람들이 특정 문항에 답한 분포로 오늘의 응답자를 평가하면, 그 사이 일어난 사회적 변화가 개인의 성격 차이로 오해됩니다. 규준은 한 번 만들면 끝나는 것이 아니라 갱신되어야 하는 자산입니다.

남의 규준을 빌려 쓰는 문제

여기서 실무적으로 중요한 지점이 나옵니다. 공개 문항 풀 IPIP의 공식 문서는 상당히 강한 어조로 이렇게 권고합니다 — 기성 규준은 오도의 소지가 있으니 그대로 쓰지 말고, 자기 표본의 평균·표준편차·빈도분포에 개인의 점수를 위치시켜 피드백하라는 것입니다.

왜냐하면 규준은 그것을 만든 표본의 성격을 그대로 물려받기 때문입니다. 대학생 위주로 모은 규준, 특정 국가에서 모은 규준, 채용 지원자에게서 모은 규준은 각각 다른 분포를 갖습니다. 어떤 서비스가 해외 대학생 표본으로 만든 규준을 그대로 가져와 국내 성인에게 적용한다면, 그 백분위는 그럴듯해 보이지만 실제로는 엉뚱한 비교입니다.

이 권고에는 한 가지 함의가 따라옵니다. 자체 표본으로 규준을 만들려면 시간이 필요하고, 초기에는 비교 기준이 충분하지 않다는 사실을 인정해야 한다는 것입니다.

개인 간 비교와 개인 내 비교

규준을 이야기할 때 자주 뭉개지는 구분이 하나 있습니다. 백분위는 나를 다른 사람들과 견주는 값(개인 간 비교)이지, 내 안에서 무엇이 두드러지는지를 말하는 값(개인 내 비교)이 아니라는 점입니다.

두 비교는 서로 다른 질문에 답합니다. "나는 남들보다 외향적인가"와 "내 안에서 외향성이 성실성보다 두드러지는가"는 별개이며, 하나가 다른 하나를 대신할 수 없습니다. 특히 강제선택처럼 총점이 일정하게 유지되는 형식에서 얻은 점수는 개인 내 순위를 말해 줄 뿐 개인 간 비교에는 적합하지 않습니다. 그런 값에 백분위를 붙이면 통계적으로 성립하지 않는 해석이 됩니다.

결과지를 읽을 때 이 구분을 의식하면 오해가 줄어듭니다. "상위 20%"는 남들과의 비교이고, "당신에게 가장 두드러진 특성"은 내 안에서의 순위입니다. 둘 다 유용하지만 같은 말이 아닙니다.

규준이 쌓이기 전에는 무엇을 할 수 있나

새로 만들어진 검사에는 구조적인 딜레마가 있습니다. 정확한 백분위를 주려면 표본이 필요한데, 표본은 사람들이 검사를 해야 쌓입니다.

이 상황에서 취할 수 있는 정직한 방법은 두 가지입니다. 하나는 원점수를 이론적인 구간(낮음·보통·높음)으로 제시하면서 그것이 잠정적 기준임을 밝히는 것이고, 다른 하나는 표본이 일정 규모에 도달한 뒤 백분위로 전환하는 것입니다. 앞서 본 기준을 적용하면 300명 이상이 하나의 분기점이 됩니다.

어느 쪽이든 핵심은 같습니다. 비교 기준이 아직 충분하지 않다는 사실을 감추지 않는 것입니다. 없는 정밀도를 있는 것처럼 보이게 만드는 순간, 그 숫자는 측정이 아니라 연출이 됩니다.

규준이 없을 때의 정직한 태도

미국심리학회의 윤리 기준은 타당도가 완전히 확립되지 않은 도구를 쓸 때 결과의 강점과 한계를 함께 밝히도록 하고 있습니다. 규준도 마찬가지입니다. 표본이 충분히 쌓이기 전이라면 백분위를 확정적으로 제시하기보다, 지금의 비교 기준이 무엇이며 어떤 한계가 있는지를 함께 알리는 편이 정직합니다.

결과지에서 백분위 숫자를 볼 때 확인해 볼 만한 것은 이런 질문들입니다.

• 이 비교 기준은 누구를 모아 만든 것인가(연령·국가·모집 경로).
• 언제 만들어진 것인가.
• 표본이 몇 명인가.
• 이 정보가 어디에도 적혀 있지 않다면, 그 백분위는 어디서 왔는가.

네 번째 질문에 답할 수 없는 검사라면, 그 숫자는 측정의 결과가 아니라 연출일 가능성을 염두에 둘 필요가 있습니다.