FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

Motivation

• Known: 기존 AI peer review 시스템(PeerRead, ReviewMT, MARG)은 CS/ML 학회 데이터에만 의존하며, 단일 회차의 정적인 리뷰 생성 방식으로 학습되고, 실제 편집 결과가 아닌 스타일적 유사성으로 평가된다.
• Gap: 자연과학 도메인의 리뷰 관행, 저자-리뷰어 간 반복적 논의 과정, 그리고 실제 편집 결정(revision cycle 등)과 결부된 평가라는 세 요소를 동시에 다루는 데이터셋과 모델이 부재했다.
• Why: 신뢰할 수 있는 AI 동료 저자(co-author)로서 제출 전 원고의 방법론적 취약점을 예측하고 revision cycle을 미리 알려줄 수 있다면, 저자들이 리뷰 지연과 반복 수정 비용을 크게 줄일 수 있어 과학 출판 생태계 전반에 실질적 영향을 줄 수 있다.
• Approach: Nature Communications의 의무적 투명 동료평가(2022년 11월 시행) 제도를 활용해 다중 회차 리뷰 대화를 수집하고, 이를 이용해 Qwen2.5-7B-Instruct를 LoRA로 파인튜닝하며, 특히 response-only loss masking이 긴 문맥 과학 분류 과제에서 필수적임을 실증적으로 검증한다.

Achievement

Figure 2. Revision-cycle prediction accuracy with 95% bootstrap

1. FirstPass 데이터셋 구축: Nature Communications에서 다섯 과학 분야에 걸쳐 3,668개의 완전한 multi-round peer-review 대화를 수집하고 100% content integrity를 자동 감사로 검증했다.
2. 결과 기반 평가(outcome-grounded evaluation): STANDARD 대 EXTENDED revision cycle을 예측하는 과제에서 80.5% 정확도와 F1-macro 78.2%를 달성하여 Gemini-3.1-flash-lite-preview zero-shot 대비 10.4%p 우수했으며, McNemar 검정으로 p < 0.001의 통계적 유의성을 확인했다.
3. masking에 대한 핵심 발견: response-only loss masking이 긴 입력·짧은 출력 분류 과제에서 단순 최적화가 아니라 필수 전제조건임을 입증했다(마스킹 미적용 시 62.0%로 다수결 baseline 이하, 적용 시 80.5%로 18.5%p 상승).
4. 생성 과제 성능: FirstPass가 생성한 리뷰는 평균 1,187 단어로 인간 참조(2,155 단어)에 가장 근접했으며, ROUGE-L 0.154로 Qwen 및 DeepSeek zero-shot 대비 유의미한 개선(p < 0.001)을 보였다.

How

Figure 1. The FIRSTPASS three-task training curriculum. Each

• Springer Nature OpenAccess API(ISSN 2041-1723)를 통해 2023년 1월~2025년 12월 발행 논문을 질의하고, 논문 및 peer-review PDF를 Gemini-3.1-flash-lite-preview로 파싱하여 6단계 JSON 복구 프로세스를 적용
• abstract, introduction, methods, results 4개 섹션이 각각 20단어 이상이고 최소 2회의 완전한 리뷰 라운드가 있는 레코드만 유지
• 60개 레코드(약 1.6%)에 대해 수동 검증하여 필드 수준 오류율 2.1%(주로 참고문헌 서식 및 줄바꿈 아티팩트)를 확인하고, 리뷰어 대화 내용에는 오류가 없음을 확인
• 라운드 수 기반으로 라벨링: 2회는 STANDARD, 3회 이상은 EXTENDED
• 논문당 3개의 학습 예제 구성: (1) review generation (논문 → Round 1 리뷰), (2) reviewer updating, (3) revision-cycle prediction (주요 평가 과제)
• Qwen2.5-7B-Instruct를 LoRA로 파인튜닝하되, Unsloth를 통해 response-only loss masking을 적용하여 마스킹 유무에 따른 통제된 ablation 실험 수행

Originality

• CS/ML 중심이던 기존 peer review 데이터셋과 달리 biology, chemistry, neuroscience, physics, earth science 다섯 개 자연과학 분야를 아우르는 최초의 multi-domain 데이터셋을 구축
• 단일 회차 리뷰가 아닌 완전한 multi-round 저자-리뷰어 대화 전체를 학습에 사용하여 과학적 논증의 반복적 검증 과정을 포착
• 생성된 텍스트의 스타일적 유사성이 아니라 실제 편집 결정(revision cycle 결과)에 기반한 평가 프레임워크를 도입
• 긴 입력·짧은 출력 과학 분류 과제에서 response-only loss masking의 역할을 최초로 통제된 방식으로 실증 분석하여 이것이 단순 최적화가 아닌 필수 전제조건임을 규명

Limitation & Further Study

• 편집 결과 라벨을 결정문 텍스트가 아닌 라운드 수만으로 정의하여(레코드의 97.7%에서 결정문 부재), 라벨의 세밀함과 타당성에 한계가 있을 수 있음
• 평가가 완료된 대화에 대한 사후 예측 정확도 측정에 그치며, 저자가 실제로 제출 전 FirstPass를 사용하고 이후 결과를 추적하는 전향적(prospective) 검증이 이루어지지 않음(논문 스스로도 이를 "deployment hypothesis"로 명시)
• 단일 저널(Nature Communications)에 기반한 데이터로 다른 출판사·저널의 리뷰 관행과 편집 문화로의 일반화 가능성이 검증되지 않음
• Gemini 기반 PDF 파싱에 의한 잔여 노이즈(필드 오류율 2.1%)가 존재하며, 후속 연구에서는 다중 저널·다중 출판사 데이터로 확장하고 실제 저자 사용을 통한 전향적 검증이 필요함

Evaluation

총평: 기존 AI peer review 연구의 도메인 편향, 정적 평가, 순환 논증 문제를 동시에 해결하려는 시도로서 데이터셋 구축과 masking에 관한 실증적 발견 모두 의미 있는 기여이나, 라벨링 방식의 단순함과 전향적 검증 부재가 실제 공저자(co-author) 주장을 완전히 뒷받침하기엔 아직 부족하다.