Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge

Motivation

• Known: 피어 리뷰는 과학에서 자원 할당과 지식 인증을 관장하는 핵심 제도이지만, 기존 연구는 대부분 기술적이거나 상관관계 중심이며 인과관계를 규명하는 엄밀한 실험이 부족하다.
• Gap: 피어 리뷰 개혁의 효과에 대한 실험적 증거는 산재되어 있고 누적적으로 해석되지 않았으며, 어떤 실험 설계가 무엇을 식별할 수 있고 없는지 체계적으로 평가되지 않았다.
• Why: 과학 평가 제도가 느리고 비용이 높으며 편향되어 있다는 비판이 광범위하지만 실증적 증거 기반이 약하므로, 어느 측면이 개선 가능하고 어느 측면이 근본적 제약을 가지는지 규명하는 것이 정책 혁신에 필수적이다.
• Approach: Q(제출물 특성)–A(저자 특성)–R(검토자 속성)–S(시스템 구조)로 피어 리뷰를 분해하는 분석적 프레임워크를 개발하고, 이를 통해 54개 실험의 설계, 식별 가능성, 결과를 체계적으로 비교 분석한다.

Achievement

• Q–A–R–S 프레임워크: 피어 리뷰 데이터 생성 프로세스를 네 가지 요소로 분해하여 다양한 실험을 일관된 틀 내에서 비교 가능하게 함
• 시스템 개입의 제한적 효과: 리뷰어 배정이나 피드백 같은 시스템 개입이 참여자 행동은 바꾸지만 핵심 평가 판단에는 거의 영향을 주지 않음을 규명
• 검토자 전문성의 결정적 역할: 누가 리뷰하는지와 그들의 전문성이 평가 결과를 가장 명확하게 형성하는 요인임을 입증
• 필터 vs. 랭커 이분법: 피어 리뷰는 부실 제출물을 거르는 '필터'로서는 신뢰할 수 있지만 수용 가능한 제출물을 세밀하게 '순위 매기는' 능력은 제한적임을 발견", '제도적 기능성: 피어 리뷰는 체계적 실패가 아니라 인식론적·조직적 제약 하에서 작동하는 기능 중심의 제도임을 입증

How

• 체계적 검색과 인용 추적을 통해 2025년까지 발표된 피어 리뷰 내 무작위화 실험 54개 논문을 수집
• 각 실험을 Q–A–R–S 차원에 따라 분류: Q(제출물 재평가, 감시 연구), A(저자 정체성·블라인딩), R(리뷰어 구성·훈련), S(시스템 아키텍처·인센티브)
• 개별 실험의 설계 선택지, 식별 가능한 효과, 제도적 제약을 상세히 분석하는 대표 사례 연구 수행
• 실험 설계의 구조적 한계와 강점을 명시적으로 평가하여 겉으로는 상충하는 결과들을 조화
• 리뷰 메커니즘에서 탄력적 여지(elastic margins)와 비탄력적 여지(inelastic margins)를 구분

Originality

• 피어 리뷰 실험을 단순 효과 크기 비교가 아닌 식별 전략(identification strategy) 자체를 분석 대상으로 하는 메타-분석적 접근
• Q–A–R–S 분해 프레임워크를 통해 산재된 실험 문헌을 통합하고 누적적 통찰을 가능하게 함
• 새로운 지식을 기존 지식 스톡으로 평가하는 것'이라는 중심 인식론적 문제를 명시적으로 이론화", '시스템 개입(S)의 행동 효과와 평가 판정 효과를 분리하는 분석으로 인과 메커니즘을 심화
• 제도적 기능성과 제약의 균형 잡힌 평가로 피어 리뷰 '실패'에 대한 과도한 비판을 실증적으로 재평가

Limitation & Further Study

• 실험 표본이 54개로 제한적이고 특정 분야(STEM, 경제학)에 편중되어 사회과학·인문학 대표성 부족
• 개별 실험들이 좁은 영역(예: 단일 저널)에 내장되어 있어 외적 타당성(generalizability) 제한
• 많은 실험이 시스템 요소(S)에 집중되어 있고 제출물 품질(Q)이나 저자 특성(A)의 인과 효과는 덜 연구됨
• 개별 실험의 통계적 power가 명시되지 않은 경우가 많아 음성 결과의 해석에 불확실성 존재
• 실험이 제도 혁신과 정책 변화와 느슨하게 연결되어 있어 실제 제도 개선으로의 경로 불명확
• 향후 연구는 다중 기관 협력, 동시 다중 개입, 장기 추적, 이질적 효과 분석을 통해 인과 추론 정교화 필요

Evaluation

총평: 본 논문은 피어 리뷰라는 과학 제도의 작동 원리를 실증적으로 규명하는 중요한 메타-분석으로, Q–A–R–S 프레임워크를 통해 산재된 실험 증거를 처음으로 체계적으로 종합하여 정책 개선의 기초를 제공한다. 피어 리뷰의 근본적 제약을 인식론적 관점에서 이론화하고 개혁 가능성의 현실적 한계를 명시함으로써 학술 제도에 대한 균형 잡힌 이해를 제시한다.