Reviewing scientific papers for critical problems with reasoning llms: Baseline approaches and automatic evaluation

Motivation

Known: 최근 LLM이 동료 심사(peer review) 과정에 활용되고 있으나, LLM이 인간 심사자처럼 전체 리뷰를 생성하는 방식은 부책임한 사용을 조장할 수 있음
Gap: 현기존 연구들은 LLM이 생성한 전체 리뷰를 인간 리뷰와 비교하는 방식에만 집중하고 있으며, 보조적 역할로서의 활용 가능성을 충분히 탐구하지 않음
Why: 동료 심사 위기(수탁 증가로 인한 심사 부담)를 해결하기 위해서는 LLM을 인간 심사자의 경쟁자가 아닌 보조 도구로 위치지어야 함
Approach: LLM을 "원고 품질 검사기(manuscript quality checker)"로 활용하여 중대한 오류와 논리적 결함을 자동 식별하고, LLM을 판정자(judge)로 활용한 자동 평가 프레임워크를 제안

o3 모델의 우수한 성능: o3가 모든 모델 중 가장 높은 히트율(HR@5: 48.2% for PDF, 50.6% for LaTeX)을 달성하면서도 적정한 비용 수준 유지
형식 저항성 차이: Gemini 모델은 LaTeX 형식으로 전환 시 성능 저하(39.2% → 36.3%)를 보였으나, OpenAI o-시리즈 모델은 안정적(48.2% → 50.6%)
Claude 3.7 Sonnet의 한계: PDF 접근 방식에서 64.9%의 논문에서 문제를 발견하지 못하는 낮은 성능(HR@5: 11.0%)
포괄적 평가 프레임워크: 도메인 전문가 모집의 어려움을 극복하기 위해 여러 LLM 판정자를 활용한 자동 평가 방식 제시

데이터셋 구축:

평가 방법론:

3가지 접근 방식: (1) PDF 첨부, (2) OCR 결과를 프롬프트에 포함, (3) LaTeX 스크립트 포함
자동 평가 파이프라인: 2개의 LLM 판정자(Gemini 2.5 Pro, o3)가 독립적으로 식별된 문제가 저자의 오류 설명과 정확히 일치하는지 평가
메트릭: Hit Rate at k (HR@k), Mean Average Precision (MAP@k), 정밀도(Precision)

실험 설정:

LLM 판정자의 한계: 최종 판정이 LLM의 정확성에 의존하므로 "금표준(gold standard)"이 없음. Claude 3.7 Sonnet이 판정자로 부적격 판정된 점은 판정자 선정의 불확실성 시사
형식 제약: LaTeX 접근 방식에서 이미지 무시, PDF 전처리 파이프라인의 벤더별 차이로 인한 공정한 비교 어려움
제한된 프롬프트: 수학 및 물리학 논문이 풍부한 데이터셋에도 불구하고 일반적이고 간단한 지시문(generic task instruction)만 사용
도메인별 일반화: 수학, 물리학, 컴퓨터과학 중심으로 의학, 생물학 등 다른 분야의 성능 미검증
후속 연구 방향:
- OCR 기반 접근 방식의 체계적 평가
- 도메인 전문가 수동 평가를 통한 자동 평가 방식 검증
- 특화된 프롬프트 엔지니어링으로 성능 개선
- 다중 모달 논문(이미지, 표 등) 처리 능력 강화
- 더 큰 규모의 실제 검증 연구(기저 사항: 현재 nc=1로 단일 실행만 수행)