왜 그런가요
논문 초록에는 ‘중재 후 만족도가 높았다’고 적혀 있습니다. 그런데 등록된 계획에서는 주된 관심 결과가 통증이었다면 무엇을 확인할까요? 등록번호가 있다는 사실만으로 발표된 결과의 선택 과정까지 설명되지는 않습니다. 계획과 결과를 같은 기준으로 펼쳐 보는 읽기가 필요합니다.
가상 연구의 세 칸을 맞춰 보기
다음은 실제 연구가 아닌 학습용 가상 설정입니다. 계획에 ‘중재 후 통증을 여러 시점에 측정한다’고 적혀 있는데 발표에는 가장 짧은 추적 시점의 만족도만 강조되어 있다고 해 봅시다. 단순히 두 단어가 다르다는 것을 넘어, 원래의 결과 영역, 무엇으로 언제 측정했는지, 어떤 분석을 했는지 따로 확인해야 합니다.
Cochrane은 결과 영역, 구체적인 측정, 분석을 구별합니다. 예를 들어 통증이라는 영역과 특정 척도로 특정 시점에 측정한 통증, 그 점수를 어떤 방식으로 군 간 비교했는지는 같은 층위가 아닙니다. 영역이 같아도 여러 시점이나 척도 중 유리한 결과만 골라 보고할 여지가 있습니다.
읽기 전에 생각해 볼 질문
결과 영역은 같지만 시점이 다르면 문제없을까요?
아닙니다. 결과가 유리한 방향이나 크기, 유의성 때문에 특정 시점만 선택됐다면 보고 결과 선택에 따른 비뚤림 우려가 있습니다. 모든 변경이 이런 이유로 이뤄지는 것은 아니므로 사전 계획, 변경 기록과 이유, 나머지 결과를 함께 확인해야 합니다.
계획한 결과가 논문에 없으면 ‘효과 없음’이라고 적어도 될까요?
없습니다. 보고되지 않은 결과와 효과가 없다고 관찰된 결과는 다릅니다. 부록, 등록 결과, 같은 시험의 다른 보고서를 찾고 그래도 확인할 수 없다면 해당 정보가 없음을 표시합니다. 누락 자체로 연구자의 의도나 부정을 확정하지 않습니다.
계획을 구할 수 없으면 아무 비교도 못 하나요?
논문 방법 절에 적힌 측정·분석과 실제 결과 절을 비교하고 같은 시험의 다른 보고서를 대조할 수 있습니다. 다만 세부 내용이 부족하면 확신 수준도 제한됩니다. 부족한 정보를 ‘문제없음’으로 채우지 않는 것이 중요합니다.
좋은 결과만 남을 때 생기는 빈칸
WHO는 긍정적 결과와 부정적 결과를 모두 공개하고 정확성을 보존하는 것을 강조합니다. 일부 결과만 남으면 연구 전체의 이익과 위험을 불완전하게 볼 수 있기 때문입니다. 결과 영역 자체가 빠지는 문제와 같은 영역 안에서 유리한 측정·분석을 고르는 문제는 구별하되, 독자가 보지 못한 정보가 있는지 함께 물어야 합니다.
실제 논문을 읽으며 ‘계획한 결과’, ‘발표한 결과’, ‘차이의 설명’이라는 짧은 메모를 작성해 보세요. 결론이 매력적인지보다 먼저, 그 결론에 이르는 선택 과정이 설명되어 있는지 확인하는 연습입니다. 이 메모는 공식 비뚤림 평가 도구나 전문 평가를 대신하지 않습니다.