Essence
본 논문은 저널, 컨퍼런스, 펀딩 기관의 실제 피어 리뷰 시스템에 내장된 54개의 무작위 실험을 종합하여, Q–A–R–S 프레임워크를 통해 과학적 평가 메커니즘을 분석한다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 본 논문은 피어 리뷰라는 과학 제도의 작동 원리를 실증적으로 규명하는 중요한 메타-분석으로, Q–A–R–S 프레임워크를 통해 산재된 실험 증거를 처음으로 체계적으로 종합하여 정책 개선의 기초를 제공한다. 피어 리뷰의 근본적 제약을 인식론적 관점에서 이론화하고 개혁 가능성의 현실적 한계를 명시함으로써 학술 제도에 대한 균형 잡힌 이해를 제시한다.
같이 보면 좋은 논문
기반 연구출판된 연구 결과의 허위 가능성에 관한 연구는 피어 리뷰 메커니즘의 효과성을 평가하는 실험 연구의 동기를 제공한다.
기반 연구958의 재현성 위기 실증 연구는
2653의 동료 검토 편향 연구와 함께 읽으면 과학적 지식 생산 과정의 체계적 문제점을 더 종합적으로 이해할 수 있다.
다른 접근심리과학 재현성 추정 연구가 피어 리뷰 품질 평가와 과학적 평가 메커니즘의 신뢰성 측면에서 비교 관점을 제공한다.
기반 연구동료검토의 현장 실험을 다루는
2653은
959가 제기한 재현성 위기를 과학 평가 시스템 관점에서 보완적으로 다룬다.
기반 연구피어 리뷰 및 연구 평가 메커니즘에 대한 무작위 실험 결과가 연구평가 시스템의 게이밍 행동 이해를 위한 보완적 시각을 제공한다.
다른 접근피어 리뷰 패널이 좋은 아이디어를 선택하는지를 분석한 연구는 피어 리뷰 실험 연구와 직접적으로 상보적인 시각을 제공한다.
다른 접근펀딩 배분에 복권 방식 도입을 주장하는 연구는 피어 리뷰 기반 평가 시스템의 대안적 메커니즘을 제안한다.
다른 접근피어 리뷰가 아이디어 확산에 미치는 영향을 분석한 연구로, 과학 평가 메커니즘의 효과에 대한 보완적 시각을 제공한다.
다른 접근Liberata가 전통적 저자권 및 인용 기반 평가를 대체하는 새로운 학술 출판 프레임워크를 제안하여 피어 리뷰 개혁 논의와 직접 연결된다.
다른 접근두 논문 모두 과학 평가 시스템의 방법론적 타당성을 실험적 또는 모델링 접근법으로 체계적으로 검증하는 메타과학 연구이다.
후속 연구피어 리뷰 시스템의 실험적 분석을 확장한다.
후속 연구SPECTER2 유사도 0.92 기준으로 'Optimizing Social Utility in Sequential Experiments'의 AI4S 방법론을 'Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.90 기준으로 'Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity'의 AI4S 방법론을 'Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.88 기준으로 'Stochastic Path Integral Formalism of Causal Field Theory'의 AI4S 방법론을 'Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.91 기준으로 'Three Tests for an Adoption-Aware Crop Recommender: Sensitivity, Permutation, Placebo'의 AI4S 방법론을 'Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.90 기준으로 'Incentive design in sequential statistical protocols'의 AI4S 방법론을 'Field Experiments in the Science of Science: Lessons from Peer Review and the Evaluation of New Knowledge'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구피어 리뷰 편향의 학술적 결과를 검토한 연구로, 무작위 실험 기반 피어 리뷰 분석과 함께 읽으면 평가 편향의 전모를 파악할 수 있다.
응용 사례무작위 실험 방법론을 다른 평가 시스템에 적용한다.
반론/비판학술 출판의 인센티브 불일치 문제는 피어 리뷰 실험에서 발견되는 평가 편향의 제도적 원인을 설명한다.