Evaluating the Replicability of Social Science Experiments in Nature and Science

Motivation

Known: RPP(심리학 100개 연구, 36% 재현율)와 EERP(경제학 18개 실험, 61% 재현율) 프로젝트들이 학계의 재현성 문제를 부각했다. 출판 편향과 보고 편향으로 인해 원본 연구의 효과 크기가 과장되었을 가능성이 제기된다.
Gap: 최상위 저널(Nature, Science)에 게재된 사회과학 실험의 재현성에 대한 체계적 증거가 부족하다. 원본 연구보다 현저히 작은 효과 크기를 감지할 수 있는 고통력 설계의 재현 연구가 필요하다.
Why: 과학적 진전의 기초는 연구 결과의 재현성이며, 최고 권위의 저널에 실린 주요 발견들이 신뢰할 수 있는지 검증하는 것은 학계 신뢰성 강화에 필수적이다.
Approach: 21개 선정 논문의 주요 결과를 원저자의 검토를 거친 분석 계획으로 사전등록(pre-registration)하고, 2단계 고통력 설계로 진행하여 효과 크기 감소에 대한 가설을 검증했다.

재현율(Statistical Significance Criterion): 62% (13/21)의 연구만이 1단계에서 원래 방향의 유의미한 효과를 보였으며, 2단계 포함 시 67%로 증가
효과 크기 축소: 재현 연구의 평균 효과 크기는 원본의 약 50% 수준으로 나타나, 출판 편향과 진정한 양성의 효과 크기 과장이 모두 재현성 부족의 원인임을 시사
베이지안 분석: 예상 진정 양성률(true-positive rate)은 67%이며, 진정 양성의 상대 효과 크기는 71%로 추정
예측력: 동료 학자들의 재현 가능성 신념(peer beliefs)이 실제 재현성과 강하게 상관되어, 연구 공동체가 재현 실패를 우연으로만 볼 수 없음을 입증

2010-2015년 Nature, Science 게재 사회과학 실험 중 (1)피험자간/피험자내 처리효과 검증, (2)통계적 유의미한 발견 제시, (3)학생 또는 접근 가능한 샘플 사용 기준으로 21개 선정
각 논문당 가장 중요한 주요 발견을 선택하여 재현 (원저자의 해석이 아닌 연구팀의 판단)
사전등록 및 원저자 검토를 거친 분석 계획 수립
2단계 순차 설계: 1단계에서 원본 효과의 75%를 90% 검정력으로 검출 가능하도록 설계, 실패 시 2단계에서 50% 효과 크기 검출 가능하도록 표본 확대 (원본 대비 평균 3-6배 표본 크기)
6가지 보완적 재현 지표 적용: 메타분석 추정, 95% 예측 구간, small telescopes 접근법, 베이즈 인수, 베이지안 혼합 모형, 동료 신념 조사
프로토콜 편차 기록 및 투명성 보장

표본 선택 편향: 학생 표본이나 접근 가능한 피험자 모집단에 국한되어 일반 인구로의 외적 타당성 제한
21개 표본 크기: 사회과학 전체 또는 최상위 저널의 모든 분야를 대표하지 못할 수 있음
방법론적 편차: 12개 재현에서 미미한 편차(minor deviations), 1개에서 의도하지 않은 편차 발생으로 인한 해석상 불확실성
원저자 해석 배제: 가장 중요한 결과 판단을 연구팀이 독립적으로 수행하여 원저자의 의도와 차이 가능성
후속 연구 방향: (1)다양한 학문 분야(신경과학, 행동경제학 등) 확대, (2)비학생 표본과 실제 맥락 재현 연구, (3)재현 실패의 구체적 메커니즘(이론적 오류 vs 방법론적 차이) 규명, (4)출판 편향 완화를 위한 제도 개선 효과 검증

기반 연구출판된 연구 결과 대부분이 거짓임을 주장하는 1058은 959의 사회과학 실험 재현성 분석의 이론적 배경을 제공한다.

기반 연구재현성 위기에 대한 과학자 인식 설문 연구는 사회과학 실험 재현가능성 평가의 배경이 되는 광범위한 재현성 위기 논의의 기반을 제공한다.

다른 접근959가 Nature와 Science의 사회과학 실험 재현성을 분석했다면, 958은 심리학 연구 전반의 재현 가능성을 평가하여 같은 문제를 다른 범위에서 접근한다.

다른 접근과학 편향 메타평가 연구는 사회과학 실험 재현가능성 평가와 함께 과학 문헌의 신뢰성 문제를 다각도로 분석하는 보완적 관점을 제시한다.

다른 접근jingle-jangle fallacy 연구는 구성 개념의 측정 불일치가 재현가능성 실패의 주요 원인 중 하나임을 보여주는 보완적 관점을 제공한다.

후속 연구연구 부정행위가 논문 철회에 미치는 영향 분석은 재현성 실패의 원인을 추가적으로 설명한다.

후속 연구재현성 평가 자동화를 위한 에이전트 시스템(2502)은 959의 수동 재현 연구를 자동화하는 방향으로 확장한다.

후속 연구동료검토의 현장 실험을 다루는 2653은 959가 제기한 재현성 위기를 과학 평가 시스템 관점에서 보완적으로 다룬다.

후속 연구사회과학 실험의 재현가능성 평가 연구는 LLM 불일치로 인한 벤치마크 환상이 과학적 재현성에 미치는 영향을 이해하는 비교 기반을 제공한다.

후속 연구파괴적 혁신 지수의 강건성을 평가한 1080은 과학적 측정의 신뢰성 문제를 다루어 959의 재현성 연구와 함께 읽으면 과학 지표의 한계를 이해할 수 있다.