왜 그런가요
간호 질관리에서 두 사람이 같은 점검표를 독립 판정했다. 100건 중 90건에서 답이 같았다면 카파도 0.90일까? 단순 일치율은 같았던 비율이고, 카파는 범주의 분포에서 기대되는 우연 일치를 고려한 지표다. 둘을 같은 점수로 기록하면 분석 목적을 혼동한다.
직접 만든 가상 판정표
다음은 실제 기관 자료가 아니라 계산 연습용이다. 두 관찰자가 안전 점검에서 ‘해당 있음/없음’을 판정했다고 가정한다.
| 관찰자 A | B: 없음 | B: 있음 |
|---|---|---|
| 없음 | 85건 | 5건 |
| 있음 | 5건 | 5건 |
대각선의 85건과 5건을 더하면 관찰 일치는 90%다. 두 관찰자는 각각 ‘없음’을 90%, ‘있음’을 10% 판정했다. 이 주변 비율로 계산한 기대 일치는 0.90×0.90 + 0.10×0.10 = 0.82다. 카파는 (0.90−0.82)/(1−0.82)로 약 0.44가 된다. 90%라는 일치율과 같은 숫자가 아니다.
흔한 범주가 결과를 바꾼다
한 범주가 매우 흔하면 두 사람이 그 범주를 많이 선택하기만 해도 높은 단순 일치가 나올 수 있다. 카파는 이 분포에 영향을 받는다. 그렇다고 카파가 낮다는 이유만으로 두 관찰자의 업무가 모두 부정확하다고 확정하지 않는다. 원자료의 범주 비율, 불일치가 생긴 항목과 임상적 중요성을 함께 확인해야 한다.
뉴멕시코대학의 관찰자 신뢰도 해설과 CMAJ의 방법론 교육은 우연 보정과 범주 빈도의 영향을 설명한다. 일치율과 카파를 함께 제시하면 “대부분 같은 답”과 “분포를 고려한 일치”를 구별할 수 있다. 보편적인 한 절단값을 모든 점검에 적용하여 합격·불합격을 선언하는 방식은 피한다.
일치와 정답도 별개의 질문
두 사람이 서로 동의했다고 실제 기준에도 정확했다는 뜻은 아니다. 둘이 같은 오류를 범할 수 있으므로 기준의 명확성과 평가 교육도 검토한다. 이 표는 두 명의 범주 판정에 관한 단순 카파 예시이며 여러 관찰자, 순서 있는 범주나 반복자료의 분석을 자동으로 해결하는 공식은 아니다. 시험에서는 무엇의 일치를 어떤 자료에서 평가하는지부터 읽자.