LitReview Arena: Evaluating Literature Review Agents with Battle-style Peer Review Platform

Motivation

• Known: 기존에는 AutoSurvey, SurveyForge, SurveyX 등 retrieval-and-synthesis 기반의 자동 literature review 생성 시스템들이 활발히 연구되어 왔으며, reference-overlap, citation matching, coverage heuristic 등 자동화 가능한 지표로 평가하는 static benchmark들(SciReviewGen, SurGE, DeepResearch Bench 등)이 존재한다.
• Gap: 기존 평가 방식은 paper structure의 논리적 타당성이나 research gap 식별과 같이 non-verifiable하고 전문가의 직관에 의존하는 research utility 측면을 제대로 포착하지 못하며, SciArena와 같은 arena 방식도 literature review에 특화된 구조화된 프로토콜을 제공하지 못한다는 한계가 있다.
• Why: literature review는 연구자들이 분야를 이해하고 연구 방향을 설정하는 데 핵심적인 역할을 하므로, deep research 시스템이 발전함에 따라 이를 신뢰성 있게 평가하는 방법론 확립이 자동 survey 생성 기술 발전의 병목을 해소하는 데 중요하다.
• Approach: AI 논문 작성 경험이 있는 도메인 전문가를 전문 분야에 맞춰 매칭하고, 익명화된 draft를 blind 비교하여 literature coverage, claim support, paper structure, research suggestions quality, overall utility의 다섯 가지 차원별 결과를 수집하는 battle-style 구조화 프로토콜을 설계했다.

Achievement

Figure 2. Expert-aligned evaluator workflow and results. (a) Context construction for the calibrated evaluator. (b) Cali

1. LitReview Arena 플랫폼과 프로토콜 제안: annotator 자격 제한, 실제 고인용 survey에서 파생된 query, 전문성 매칭, 5개 구조화된 평가 차원(D1-D5)을 포함하는 literature review 특화 battle 평가 프로토콜을 설계했다. 2. 대규모 전문가 판단 데이터셋 수집 및 시스템 분석: 3k개의 전문가 판단(각 5개 차원 포함)을 수집해 최상위 시스템도 human draft 대비 overall utility에서 23.0%의 decisive match 승률에 그치고, paper structure와 research suggestions에서 약 200점 격차가 남을 발견했으며, agentic LLM(Sonar Deep Research 등)이 base LLM보다 60% 이상 우수하지만 평균 15배의 token 비용이 든다는 trade-off를 규명했다. 3. 전문가 정렬 평가자 LitJudge 공개: 기존 LLM-as-a-judge 방식이 인간 전문가와 크게 불일치(Spearman's ρ≈0.467)함을 보이고, 수집된 preference 데이터로 calibration하여 ρ≈0.792까지 정렬도를 개선한 저비용 offline 평가자를 제공했다.

How

Figure 1. LitReviewBench construction overview. Left: topic extraction from high quality AI survey papers curated from O

• 실제 고인용 survey에서 topic을 추출하여 query의 학술적 가치와 인지도를 보장
• AI paper-writing 경험이 있는 도메인 전문가만을 annotator로 모집하고, 전문 분야에 맞는 topic에 매칭
• 익명화된 두 literature review draft를 pairwise로 blind 비교시켜 D1(literature coverage), D2(claim support), D3(paper structure), D4(research suggestions quality), D5(overall utility)의 5개 차원별 승패 outcome을 수집
• 3k개의 전문가 판단으로 구성된 LitReviewBench를 구축하고, 다양한 모델(base LLM, agentic LLM인 Sonar Deep Research 등) 및 human draft 간 승률과 token 비용을 비교 분석
• 수집된 preference 데이터를 calibration signal로 활용해 LLM-as-a-judge를 전문가 판단에 맞게 보정한 LitJudge를 학습하고, Spearman's ρ 기준으로 기존 judge 대비 정렬도 개선을 검증

Originality

• SciArena와 같은 범용 과학 literature-grounded arena 평가를 넘어, literature review라는 단일 task family에 특화된 완전한 구조화 평가 프로토콜을 최초로 제안
• annotator 자격 제한, query의 실제 고인용 survey 기반 선정, 전문성-topic 매칭, 5개 차원 구조화라는 네 가지 설계 축을 결합하여 arena voting의 운영적 단순성과 peer review의 과학적 엄밀성을 동시에 달성
• non-verifiable하고 synthesis-heavy한 paper structure, research suggestions 같은 차원을 명시적으로 정량화한 최초의 대규모 전문가 preference 데이터셋 공개
• 수집된 preference 데이터를 활용해 기존 LLM-as-a-judge의 낮은 정렬도 문제를 calibration을 통해 실질적으로 해결하는 evaluator(LitJudge)를 제시

Limitation & Further Study

• 3k개의 판단 데이터는 상대적으로 규모가 크지 않아, 더 다양한 도메인과 topic에 대한 일반화 가능성 검증이 추가로 필요할 것으로 보임
• 전문가 annotator 모집과 매칭 과정에서 특정 분야나 관점으로 치우칠 수 있는 selection bias 가능성이 존재하며, annotator 간 일치도(inter-expert consistency)에 대한 심층 분석이 더 필요함
• agentic 모델의 15배 token 비용 등 계산 비용 문제에 대한 근본적 해결책은 제시되지 않았으며, 비용 효율적인 agentic 시스템 설계는 후속 연구로 남아있음
• LitJudge가 ρ≈0.792로 개선되었으나 여전히 완벽한 정렬은 아니며, 시간이 지나며 모델과 topic이 변화함에 따른 evaluator의 지속적 재보정(calibration) 필요성이 제기됨

Evaluation

총평: literature review 평가라는 중요하지만 정량화하기 어려운 문제에 대해 arena 방식의 구조화된 프로토콜과 대규모 전문가 preference 데이터, 그리고 실용적인 저비용 evaluator까지 완결성 있게 제시한 의미 있는 연구이다. 다만 데이터 규모와 도메인 다양성 측면에서 추가 검증이 필요하며 agentic 시스템의 비용 문제는 미해결 과제로 남는다.