FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes

Motivation

• Known: PeerRead, ReviewMT, MARG 등 기존 peer review 데이터셋은 ACL, NIPS, ICLR 등 Computer Science/Machine Learning 학회 리뷰에만 기반하여 구축되어 왔다.
• Gap: 단일 커뮤니티(CS/ML) 중심 데이터로 인해 AI 모델이 타 과학 분야(생물학의 contamination control, 화학의 NMR 스펙트럼 등)의 리뷰 관행을 전혀 학습하지 못하며, 기존 평가 방식은 생성된 리뷰가 실제 편집자의 요구사항과 부합하는지가 아니라 리뷰처럼 보이는지만 측정하는 순환적(circular) 평가에 그친다.
• Why: AI가 실제 과학적 판단력을 갖추었는지 평가하려면 다분야에 걸친 반복적 저자-리뷰어 대화와 실제 editorial outcome에 기반한 ground truth가 필요하며, 이는 clinical triage, grant evaluation, regulatory review 등 전문가 판단이 요구되는 다른 도메인에도 적용 가능한 outcome-grounded AI governance의 방법론적 템플릿이 될 수 있다.
• Approach: Nature Communications의 2022년 11월 도입된 의무적 transparent peer review 제도를 활용해 Springer Nature OpenAccess API로 논문과 리뷰 PDF를 수집하고, Gemini-3.1-flash-lite-preview 기반 파싱 파이프라인으로 초기 리뷰-저자 응답-후속 리뷰의 전체 iterative 구조를 추출하여 실제 라운드 수에 기반한 outcome label을 부여했다.

Achievement

1. 다분야 대규모 데이터셋 구축: biology, chemistry, neuroscience, physics, earth science 5개 분야에 걸쳐 3,668건의 완전한 multi-round 편집 대화를 수집했다.
2. 실제 outcome 기반 라벨 제공: 라운드 수(2회=STANDARD, 3회 이상=EXTENDED)에 기반해 97.7%의 레코드에 decision letter 텍스트 없이도 일관된(62.8%~71.2% STANDARD) 라벨을 부여했다.
3. 100% 콘텐츠 무결성 검증: 자동화된 audit을 통해 3,668개 레코드 모두에서 hollow file 없이 원본 PDF와 일치하는 텍스트를 확인했다.
4. 밀도 높은 리뷰 텍스트 확보: 평균 2,155 단어로 ICLR 리뷰(약 400 단어) 대비 5배 이상 긴 전문가 리뷰를 확보했다.
5. 벤치마크 모델 성능 제시: fine-tuned Qwen2.5-7B-Instruct가 Task 3(Outcome Prediction)에서 80.5% 정확도, F1-macro 78.2%를 달성해 Gemini-3.1-flash-lite-preview zero-shot 대비 10.4%p 높은 성능을 보였다.

How

Figure 1. The FIRSTPASS three-task training curriculum.

• Springer Nature OpenAccess API를 통해 2023년 1월~2025년 12월 발행 논문 수집
• Gemini-3.1-flash-lite-preview와 엔지니어링된 추출 프롬프트, JSON recovery(Borrelli, 2024)로 PDF 파싱, pdfplumber 기준선과 대조 검증
• abstract, introduction, methods, results 4개 섹션이 각각 20단어 이상이고 최소 2회 완전한 리뷰 라운드가 있는 레코드만 보존 (discussion/conclusion은 저자 해석에 편향되지 않도록 의도적으로 제외)
• 라운드 수 기반 outcome label 부여(2라운드=STANDARD, 3라운드 이상=EXTENDED)
• 도메인 및 라벨 기준 80/10/10 paper-level train/validation/test split으로 leakage 방지
• Task 1(Review Generation), Task 2(Reviewer Updating), Task 3(Outcome Prediction) 3단계 curriculum 구성
• 전체 파싱 코드, 추출 프롬프트, audit 스크립트, 평가 스위트, 파인튜닝된 모델 가중치를 Hugging Face Datasets 및 GitHub에 공개

Originality

• 기존 CS/ML 중심 peer review 데이터셋(PeerRead, ReviewMT, MARG)과 달리 5개 과학 분야를 아우르는 최초의 다분야 대규모 데이터셋
• 실제 editorial decision(라운드 수)에서 직접 유도된 outcome label을 제공하여 기존 데이터셋에 없던 ground truth 확보
• 리뷰를 일회성 이벤트가 아닌 저자-리뷰어 간 반복적 대화(iterative dialogue)로 구조화하여 포착
• 스타일 모방이 아닌 실제 편집 결정과의 정합성을 평가하는 outcome-grounded 벤치마크 설계
• 데이터셋뿐 아니라 파싱 파이프라인, audit 스크립트, governance criterion(F1-macro ≥75%)까지 포함한 재현 가능한 방법론적 템플릿 제시

Limitation & Further Study

• 단일 저널(Nature Communications)에서만 데이터를 수집하여 해당 저널 고유의 편집 관행이나 리뷰어 풀의 편향이 데이터셋 전반에 반영될 위험이 있음
• accepted paper만 포함하는 scope로 인해 거절된 논문의 리뷰 패턴은 반영되지 못해 편향된 판단 기준을 학습할 가능성 존재
• 라벨이 라운드 수라는 구조적 프록시에 의존하므로, 실제 논문 품질이나 심사 엄격성과 라운드 수 간의 인과관계가 완전히 검증되지 않음
• LLM(Gemini) 기반 파싱에 의존하는 만큼 추출 과정에서의 미세한 오류나 편향이 완전히 배제되었는지에 대한 추가 검증이 필요
• 향후 연구로 다른 저널·출판사로의 확장, 거절 논문 포함, 라운드 수 외의 세밀한 outcome 지표 개발이 필요

Evaluation

총평: CS/ML에 국한되었던 peer review 데이터셋의 한계를 명확히 지적하고 실제 editorial outcome에 기반한 다분야 벤치마크를 제시한 실용적이고 시의적절한 기여이나, 단일 저널 의존성과 accepted-only scope 등 일반화 가능성에 대한 검증이 추가로 필요하다.