왜 그런가요
메타분석의 깔때기 그림이 한쪽으로 기울어 보인다. 학생이 “효과 없는 연구가 숨겨져 있으므로 출판편향이 입증되었다”고 쓰면 결론이 너무 빠르다. 비대칭은 작은 연구와 큰 연구의 효과가 다르게 보이는 패턴일 수 있지만 그 원인이 하나로 정해져 있지는 않다.
모양에서 원인으로 넘어가기 전 점검
- 무엇을 그렸는지 확인한다. 효과 추정치와 연구의 정밀도 또는 크기에 관련된 축을 읽어야 한다. 점이 한쪽에 많다는 시각적 인상만으로 진단하지 않는다.
- 연구 간 대상·중재·환경이 달랐는지 본다. 작은 연구에서 실제 효과가 다르다면 이질성이 비대칭에 기여할 수 있다.
- 작은 연구와 큰 연구의 방법론이나 편향 위험이 달랐는지 확인한다. 같은 질의 근거를 다른 크기로 반복한 것이라고 가정하지 않는다.
- 선택적 출판이나 결과 보고의 가능성과 함께 우연 및 통계적 특성도 고려한다. 한 가지 설명만 남기고 다른 가능성을 지우지 않는다.
그림은 탐색 도구다
Cochrane 핸드북은 비대칭의 가능한 원인에 보고편향, 이질성, 연구 방법의 차이와 우연 등을 포함한다. BMJ의 전문 방법론 해설도 깔때기 관련 방법을 소규모 연구 효과를 살피는 수단으로 보아야 하며 출판편향과 직접 동일시해서는 안 된다고 설명한다. 비대칭이라는 패턴과 출판편향이라는 원인 주장은 서로 다른 문장이다.
반대로 그림이 대칭이라고 선택적 출판이 전혀 없다고 보증할 수도 없다. 특히 연구 수가 적으면 그림이나 검정에서 비대칭을 알아내기 어려울 수 있다. 시각적 판단과 통계적 검정 모두 자료 조건에 의존한다. 이 글은 연구 수나 유의확률 한 개를 보편적 판정 기준으로 제시하지 않는다.
논문 요약의 표현을 조정한다
가상 보고서의 “출판편향 확진”을 “깔때기 비대칭이 관찰되어 소규모 연구 효과와 그 원인을 추가 검토했다”로 고쳐 보자. 연구 등록 정보와 누락된 결과를 확인하는 작업도 별도로 중요하다. 그림 모양만으로 누락된 연구의 수나 실제 치료 효과를 정확히 복원했다고 선언하지 않는다. 도구가 답하는 질문의 범위를 제한하는 것이 근거 읽기의 정확성을 높인다.