왜 그런가요
메타분석 포레스트 그림에서 어떤 연구의 사각형이 유난히 크다. “가장 좋은 연구이니 이 결과를 더 믿어야 한다”는 결론은 맞을까? 보통 사각형 크기는 그 분석에서의 가중치를 나타낸다. 가중치의 크기와 연구가 비뚤림에 덜 취약하다는 평가는 같은 정보가 아니다.
큰 사각형은 무엇을 크게 반영할까
가중치는 합쳐진 추정치에서 각 연구가 얼마만큼 기여하는지와 연결된다. 흔한 고정효과 역분산 방법에서는 표준오차 제곱의 역수를 사용한다. 표준오차가 작은, 더 정밀한 추정치에 큰 가중치가 주어지는 방식이다. 참가자 수와 관계될 수 있지만 언제나 사람 수만으로 결정된다고 설명해서는 안 된다. 효과 지표와 분석 모형도 함께 확인한다.
자체 가상 계산으로 같은 효과 척도의 표준오차가 A에서는 0.1, B에서는 0.2라고 하자. 이 고정효과 역분산 방식의 가중치는 각각 100과 25로, 두 연구만 합치면 80%와 20%가 된다. 이 산술은 정밀도 차이를 보여 줄 뿐 A의 배정 절차나 눈가림이 더 좋다는 근거를 새로 만들지는 않는다. 실제 논문의 가중치를 예시 계산에 맞추어 추측하지 않는다.
정밀한 오류도 큰 영향력을 가질 수 있다
큰 연구라도 설계·운영에 편향이 있다면 정밀하지만 치우친 추정치를 만들 수 있다. 따라서 비뚤림 위험을 별도로 읽어야 한다. 옥스퍼드의 체계적 문헌고찰 평가 도구는 사각형의 가중치 설명과 따로, 연구의 무작위화·눈가림·추적 완전성 등 타당도를 확인하도록 구성되어 있다. 사각형 크기에 질 평가가 이미 들어 있다고 생각하면 이 검토 단계가 사라진다.
무작위효과 모형에서는 연구 간 변동을 반영하므로 가중치가 달라질 수 있다. 모형이 바뀌어 사각형의 상대 크기가 달라졌다고 연구의 운영 품질이 바뀐 것은 아니다. 가중치 열과 사용한 방법을 확인하고, 별도의 비뚤림 평가표와 연결해 해석한다.
그림을 읽는 두 줄 기록
첫 줄에는 “이 분석에서 기여가 큰 연구”를 적고, 둘째 줄에는 “그 연구의 비뚤림 위험과 적용 가능성”을 적어 보자. 두 줄을 한 칸으로 합치지 않는다. 시험에서 큰 사각형을 만나면 가중치라는 뜻을 먼저 확인하되, 큰 연구가 무조건 참이거나 작은 연구가 무조건 나쁘다는 서열로 바꾸지 않는 것이 핵심이다.