왜 그런가요
가상 연구에서 대학 게시판을 보고 자원한 학생들을 두 교육군에 무작위 배정했다. 연구자는 “무작위 연구라 모든 간호학생을 대표한다”고 적었다. 무엇이 잘못되었을까? 무작위로 군을 나눈 것과 모집단에서 무작위로 참여자를 뽑은 것은 다른 단계다.
무작위 표본추출: 누가 연구에 들어오는가?
모집단에서 표본을 뽑는 선택 절차다. 정의된 모집단과 표집 틀, 선택 확률을 확인한다. 모집 대상에서 빠진 사람이나 비응답이 있으면 무작위 추출이라는 이름만으로 대표성 문제가 사라지지 않는다.
무작위 배정: 들어온 사람을 어느 군에 놓는가?
모집된 참여자를 치료·대조 등 조건에 배치하는 절차다. 군 간 비교를 위한 설계 요소지만, 자원자 표본을 모집단의 무작위 표본으로 바꾸지는 않는다.
두 출처가 설명하는 서로 다른 단계
UC Berkeley의 표본추출 자료는 대표할 모집단과 표본 선택 방식, 무작위 표본의 불확실성과 편향 문제를 구별한다. Rice University의 OpenStax 실험설계 자료는 참여자를 치료 조건에 무작위로 배정하는 과정을 설명한다. 두 과정을 모두 ‘랜덤’ 한 단어로 읽으면 무엇을 위한 무작위화인지 놓치게 된다.
앞의 가상 연구는 참여자를 교육군에 무작위 배정했을 수 있다. 그렇더라도 게시판을 본 자원자가 모든 지역·학년의 간호학생을 대표한다고 자동 선언할 수 없다. 반대로 모집단에서 무작위로 뽑은 사람의 치료 선택을 관찰했다면 무작위 배정 실험이라고 부를 수는 없다.
방법 절에 두 질문을 적는다
첫째, 대상자는 어디서 어떤 절차로 모집되었는가? 둘째, 참여가 결정된 뒤 어느 군에 어떻게 배치되었는가? 모집과 배정을 따로 적으면 결과를 어느 집단에 일반화할 수 있는지와 군 비교의 설계를 분리해 볼 수 있다.
무작위 배정도 작은 표본에서 두 군의 모든 특성을 완전히 똑같이 만드는 보증은 아니다. 배정 방법과 실제 운영, 결과 분석을 확인해야 한다. 이 글의 답은 ‘랜덤이면 좋은 연구’가 아니라 ‘무엇을 어떤 단계에서 무작위화했는가’다. 대표성의 문제와 군 배정의 문제를 같은 안전장치로 해결했다고 요약하지 않는다.