오답·판단법
같은 불안 상태를 평가한 두 연구가 서로 다른 척도를 사용했다. 한 척도는 높을수록 불안이 심하고 다른 척도는 높을수록 불안이 가벼워진다. 표준화 평균차인 SMD로 바꾸면 방향까지 자동으로 일치할까? 점수 단위를 맞추는 계산과 좋은 결과가 어느 방향인지를 맞추는 작업은 다르다.
자체 가상 척도로 확인하기
| 가상 척도 | 높은 점수의 뜻 | 호전의 방향 |
|---|---|---|
| 불안 상태 A | 불안이 더 심함 | 점수가 내려감 |
| 불안 상태 B | 불안이 더 가벼움 | 점수가 올라감 |
두 척도는 실제 제품의 척도가 아니라 방향을 설명하기 위한 예다. 호전은 같은 뜻이지만 원점수 변화의 부호는 반대다. 표준편차로 나눈다고 이 의미가 자동으로 바뀌지는 않는다. 방향을 통일하지 않고 합치면 같은 호전이 서로 상쇄되는 것처럼 보일 수 있다.
단위 표준화보다 앞서는 판단
먼저 두 도구가 정말 같은 구성개념을 측정하는지 확인한다. 불안과 삶의 질처럼 다른 개념을 단위 없는 숫자로 만들었다고 합칠 수 있는 것은 아니다. 그다음 고득점 의미와 중재군·대조군의 차이를 어느 순서로 계산했는지 확인한다. 구성개념, 점수 방향, 차이의 순서가 모두 정리되어야 부호를 해석할 수 있다.
Cochrane과 AHRQ의 합성 방법 안내는 서로 반대인 척도 방향을 맞추도록 설명한다. 적절한 역코딩에서는 평균의 방향을 바꾸지만 퍼짐을 뜻하는 표준편차가 음수가 되는 것은 아니다. 단순히 표준편차까지 부호를 바꾸는 방식은 통일 작업이 아니다. 원점수 범위에 맞는 변환과 분석 기록을 남겨야 한다.
보고서에 남길 전처리 설명
어느 방향을 호전으로 정했는지, 어떤 척도를 어떻게 변환했는지 사전에 정한 규칙을 확인한다. 효과가 커 보이는 쪽으로 결과를 본 뒤 방향을 고르는 것은 적절하지 않다. 포레스트 그림의 유리한 방향 표시도 같은 규칙과 일치하는지 읽는다.
시험에서 SMD는 ‘척도가 달라도 무조건 합쳐 주는 만능 숫자’가 아니다. 같은 개념이라는 전제와 점수 의미의 정렬이 먼저다. 부호가 달랐다는 이유만으로 연구들이 서로 반대 결과를 냈다고 결론 내리기 전에 실제 척도의 고득점 뜻을 확인하자.