1,500 scientists lift the lid on reproducibility

Motivation

• Known: 과학 문헌의 재현성에 관한 데이터는 희귀하며, 심리학과 암 생물학 분야의 분석 결과 각각 약 40%, 10% 수준의 재현 가능률을 보였다.
• Gap: 과학자들이 재현성 위기를 인식하고 있지만, 재현 실패가 결과가 잘못되었다는 의미인지에 대한 합의가 부족하며, 실패한 재현을 보고하고 발표하는 메커니즘이 제대로 작동하지 않고 있다.
• Why: 재현 불가능성은 과학의 신뢰성을 훼손하고 거짓 발견을 확산시키며, 연구비와 시간 낭비를 초래하므로 구조적 개선이 필수적이다.
• Approach: 광범위한 온라인 설문조사를 통해 과학자들의 재현성에 대한 태도, 경험, 기여 인자, 개선 방안에 대한 의견을 정량적으로 수집하고 분석하였다.

Achievement

• 재현 실패의 광범위함: 70% 이상의 연구자가 타인의 실험 재현 실패, 50% 이상이 자신의 실험 재현 실패 경험
• 분야별 차이: 물리학과 화학 연구자들이 문헌의 신뢰성에 대해 가장 낙관적(73%가 자신의 분야 논문 절반 이상을 신뢰)
• 재현성 개선 조치: 1/3의 응답자가 과거 5년간 재현성 개선 조치 실시 (의학 분야 41%, 물리학·공학 24%)
• 발표 가능성: 성공적 재현 연구 24%, 실패한 재현 연구 13%가 발표됨
• 주요 원인 식별: 출판 압박(60% 이상), 선택적 보고(60% 이상), 불충분한 재현(50% 이상)이 재현성 문제에 기여
• 해결책에 대한 합의: 견고한 실험설계(90%), 더 나은 통계(90%), 멘토십 향상(90%)이 높은 지지

How

• 온라인 설문조사 방식으로 Nature 독자 및 관련 웹사이트 방문자를 대상으로 실시
• 1,576명의 다양한 분야(생물학 703명, 의학 203명, 물리학·공학 236명 등) 과학자 참여
• 재현성 인식, 재현 실패 경험, 기여 인자, 개선 조치, 해결 방안에 대한 다항목 설문
• 분야별 비교 분석을 통해 학문 영역 간 차이점 도출
• 개별 사례 인터뷰(Abraham Al-Ahmad, Michael Adams, Laura Shankman 등)를 통한 정성적 맥락 제공

Originality

• 대규모 글로벌 과학자 표본(1,576명)을 통한 재현성의 정량적·정성적 평가로 높은 신뢰성 확보
• 재현성 위기에 대한 인식과 실제 경험 간의 괴리를 명확히 드러내고 분석
• 학문 분야별, 재현 성공/실패, 개선 조치 수행 여부에 따른 다층적 분석 제시
• 과학자들의 실제 목소리와 구체적 사례를 통해 추상적 문제를 현실화
• 정책 입안자와 저널, 기금 배분 기관이 취할 수 있는 실질적 개선 방안 제시

Limitation & Further Study

• 설문 대상이 Nature 독자 및 관련 커뮤니티 구성원으로 편향되어 재현성에 더 관심 있는 과학자들로 선택 바이어스 존재 가능
• 자기 보고식(self-report) 방식으로 인한 사회적 바람직성 응답 가능성
• 분야별 응답자 수가 불균형(생물학 703명 vs 화학 106명)하여 일부 분야 해석에 주의 필요
• 설문 당시(2016년)의 스냅샷으로, 시간 경과에 따른 재현성 개선 추이 파악 불가
• 후속 연구: 재현성 개선 조치의 구체적 효과 검증, 장기 추적 조사, 국가·기관별 비교 분석 필요

Evaluation

총평: 이 설문조사는 과학의 재현성 위기를 정량적으로 처음 대규모로 문서화한 중요한 연구로, 과학자 공동체의 인식과 경험의 괴리를 드러내고 개선 방안에 대한 광범위한 합의를 제시함으로써 과학 정책 개선에 영향을 미쳤다.