SciReview: A Benchmark for Evaluating Frontier AI for Scientific Review

Motivation

• Known: 기존 AI-for-science 벤치마크들은 가설 생성, 코딩, 실험 수행, 재현성 검증(MLAgentBench, SciCode, CORE-Bench, PaperBench 등) 또는 이미 출판된 논문의 오류·주장 검증(SPOT, FLAWS, SciFact)에 초점을 맞춰왔다.
• Gap: 기존 연구들은 리뷰어 스타일로 사실적인, 진행 중인(in-progress) 연구 원고 속에 자연스럽게 내재된 오류를 탐지하는 능력을 직접적으로 측정하지 않았으며, LLM이 삽입한 오류나 사후 출판된 정정(errata)에 의존하거나 AI/ML 분야에 국한되는 한계가 있었다.
• Why: 출판 전에 결론이 잘못된 전제에 기반해 진행되는 것을 막는 능력은 과학적 신뢰성 유지에 핵심적이며, LLM이 논문 피드백과 동료 심사에 실질적으로 참여하려면 이 능력이 필수적이다.
• Approach: 전문가가 작성한 연구 텍스트에 도메인 전문가가 소수의 자연스러운(natural) 오류를 삽입하고 gold rationale을 제공하며, 다수의 frontier model에 대한 adversarial filtering을 통해 난이도를 baseline과 challenging 두 단계로 보정하는 벤치마크 구축 프로토콜을 제안한다.

Achievement

1. 새로운 태스크 정의: 리뷰어 스타일의 과학적 오류 탐지를 AI scientist를 위한 독립적인 벤치마크 태스크로 공식화하고, 사실적인 전문가 글쓰기, 자연스러운 오류 삽입, 적대적 난이도 보정, 사소한 인공물 배제를 강조하는 구성 프로토콜을 기술함.
2. 다면적 채점 프레임워크: 세 가지 recall 집계 방식과 두 가지 false-positive 처리 방식을 교차시키고, helpfulness·correctness·alignment의 세 가지 정성적 축을 포함하는 채점 체계를 정의하여 recall–precision 트레이드오프를 정량화함.
3. 실증 결과: GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8을 평가한 결과 모든 모델이 5% 미만의 표준 완전 회수율과 0 False-Positives 기준 2% 미만의 완전 회수율만을 달성함을 보였고, false-positive 처리 방식에 따라 모델 순위가 크게 달라짐을 드러냄.

How

• 각 벤치마크 항목은 (T, E, C) 튜플로 정의됨: T는 연구 수준의 텍스트 구절, E는 도메인 전문가가 T에 의도적으로 삽입한 오류 집합, C는 관련 근거/맥락
• 오류는 지엽적으로 그럴듯하며(locally plausible) 결과에 중대한 영향을 미치는(high-consequence) 개념적 오류로 한정되며, 단순 조회로 발견 가능한 실수, 근거 없는 허위 진술, 내적 일관성을 깨는 항목은 명시적으로 배제
• 다수의 frontier model을 대상으로 한 adversarial filtering을 통해 오류를 baseline과 challenging의 두 난이도 등급으로 보정
• 세 가지 recall 집계 방식(예: 항목 단위, 오류 단위 등)과 0 False-Positives를 포함한 두 가지 false-positive 처리 방식을 교차하여 채점
• helpfulness, correctness, alignment의 세 가지 정성적 축을 전문가 평가로 추가하여 다면적 분석 수행

Originality

• 기존 벤치마크들이 LLM이 삽입한 오류(FLAWS, PaperAudit-Bench)나 출판 후 정정·철회 사례(SPOT)에 의존하는 것과 달리, 도메인 전문가가 직접 오류를 저술하여 더 자연스럽고 그럴듯한 오류를 확보함
• 이미 출판된 논문이 아니라 연구 제안서나 방법론 초안 등 진행 중인(in-progress) 텍스트를 대상으로 하여 실제 리뷰 상황에 더 근접함
• 여러 frontier model에 대해 적대적 필터링을 적용하여, 구성 시점에 모든 테스트 모델이 놓친 오류만을 보존함으로써 난이도를 엄격히 보정함
• 과학, 공학, 기술, 수학 등 AI/ML 논문에 국한되지 않는 폭넓은 분야를 다룸
• recall 집계와 false-positive 처리를 교차시킨 다차원 채점 체계를 통해 정확도-과잉 플래깅(over-flagging) 트레이드오프를 명시적으로 드러냄

Limitation & Further Study

• 발췌된 내용만으로는 오류 삽입 및 전문가 검증 과정의 구체적 세부사항(예: 분야별 전문가 수, 검증자 간 합치도)이 충분히 드러나지 않아 오류 라벨의 신뢰성 평가가 제한적임
• 벤치마크 규모(항목 수, 분야별 분포)에 대한 정보가 부족하여 통계적 유의성이나 일반화 가능성을 판단하기 어려움
• adversarial filtering이 특정 frontier model 집합에 의존하므로, 향후 등장할 모델이나 다른 아키텍처에 대한 난이도 보정의 견고성은 추가 검증이 필요함
• 후속 연구로는 벤치마크 규모 확장, 다양한 분야(생물학·화학 등) 커버리지 확대, 그리고 오류 탐지 실패의 원인(지식 부족 vs. 추론 실패)에 대한 세밀한 분석이 필요함

Evaluation

총평: 과학적 신뢰성에 직결되는 리뷰어 스타일 오류 탐지라는 중요하지만 간과되어온 능력을 정교하게 정의하고 측정하는 시의적절한 벤치마크로, frontier model들의 낮은 성능을 통해 AI-as-reviewer 활용에 대한 경각심을 효과적으로 제시한다.