Evaluating the Replicability of Social Science Experiments in Nature and Science

Essence

Fig. 1 | Replication results after stage 1 and stage 2. a, Plotted are the 95% CIs of the replication effect sizes (stan

Nature와 Science에 게재된 2010-2015년 사회과학 실험 21개를 고정된 분석 계획으로 재현한 결과, 62%만이 원래 방향의 유의미한 효과를 보였으며 효과 크기는 평균 50% 수준이었다.

Known: RPP(심리학 100개 연구, 36% 재현율)와 EERP(경제학 18개 실험, 61% 재현율) 프로젝트들이 학계의 재현성 문제를 부각했다. 출판 편향과 보고 편향으로 인해 원본 연구의 효과 크기가 과장되었을 가능성이 제기된다.
Gap: 최상위 저널(Nature, Science)에 게재된 사회과학 실험의 재현성에 대한 체계적 증거가 부족하다. 원본 연구보다 현저히 작은 효과 크기를 감지할 수 있는 고통력 설계의 재현 연구가 필요하다.
Why: 과학적 진전의 기초는 연구 결과의 재현성이며, 최고 권위의 저널에 실린 주요 발견들이 신뢰할 수 있는지 검증하는 것은 학계 신뢰성 강화에 필수적이다.
Approach: 21개 선정 논문의 주요 결과를 원저자의 검토를 거친 분석 계획으로 사전등록(pre-registration)하고, 2단계 고통력 설계로 진행하여 효과 크기 감소에 대한 가설을 검증했다.

재현율(Statistical Significance Criterion): 62% (13/21)의 연구만이 1단계에서 원래 방향의 유의미한 효과를 보였으며, 2단계 포함 시 67%로 증가
효과 크기 축소: 재현 연구의 평균 효과 크기는 원본의 약 50% 수준으로 나타나, 출판 편향과 진정한 양성의 효과 크기 과장이 모두 재현성 부족의 원인임을 시사
베이지안 분석: 예상 진정 양성률(true-positive rate)은 67%이며, 진정 양성의 상대 효과 크기는 71%로 추정
예측력: 동료 학자들의 재현 가능성 신념(peer beliefs)이 실제 재현성과 강하게 상관되어, 연구 공동체가 재현 실패를 우연으로만 볼 수 없음을 입증

2010-2015년 Nature, Science 게재 사회과학 실험 중 (1)피험자간/피험자내 처리효과 검증, (2)통계적 유의미한 발견 제시, (3)학생 또는 접근 가능한 샘플 사용 기준으로 21개 선정
각 논문당 가장 중요한 주요 발견을 선택하여 재현 (원저자의 해석이 아닌 연구팀의 판단)
사전등록 및 원저자 검토를 거친 분석 계획 수립
2단계 순차 설계: 1단계에서 원본 효과의 75%를 90% 검정력으로 검출 가능하도록 설계, 실패 시 2단계에서 50% 효과 크기 검출 가능하도록 표본 확대 (원본 대비 평균 3-6배 표본 크기)
6가지 보완적 재현 지표 적용: 메타분석 추정, 95% 예측 구간, small telescopes 접근법, 베이즈 인수, 베이지안 혼합 모형, 동료 신념 조사
프로토콜 편차 기록 및 투명성 보장

표본 선택 편향: 학생 표본이나 접근 가능한 피험자 모집단에 국한되어 일반 인구로의 외적 타당성 제한
21개 표본 크기: 사회과학 전체 또는 최상위 저널의 모든 분야를 대표하지 못할 수 있음
방법론적 편차: 12개 재현에서 미미한 편차(minor deviations), 1개에서 의도하지 않은 편차 발생으로 인한 해석상 불확실성
원저자 해석 배제: 가장 중요한 결과 판단을 연구팀이 독립적으로 수행하여 원저자의 의도와 차이 가능성
후속 연구 방향: (1)다양한 학문 분야(신경과학, 행동경제학 등) 확대, (2)비학생 표본과 실제 맥락 재현 연구, (3)재현 실패의 구체적 메커니즘(이론적 오류 vs 방법론적 차이) 규명, (4)출판 편향 완화를 위한 제도 개선 효과 검증