ReviewArena: A Large-Scale Cross-Conference Dataset and Benchmark for LLM Peer Review

Motivation

• Known: 기존에는 PeerRead, ASAP-Review, NLPeer, MOPRD, Reviewer2, ReviewMT, Re2 등 여러 peer review 데이터셋이 존재하여 acceptance prediction, review generation, meta-review generation, rebuttal modelling 등의 연구를 지원해왔다.
• Gap: 그러나 기존 벤치마크들은 대부분 리뷰 대상을 단일 score나 비구조화된 text block으로 단순화하여, multi-dimensional numeric axes, free-text field, confidence, follow-up discussion, post-rebuttal revision 등을 포함하는 실제 OpenReview 폼의 구조를 제대로 반영하지 못하며, venue마다 다른 rating scale(예: ICML 1–5, CoRL 1–4, NeurIPS 1–10)로 인한 cross-venue 비교 문제도 간과하고 있다.
• Why: LLM을 peer reviewer로 활용하려는 관심이 커지는 가운데, 리뷰 폼의 native 구조와 venue별 관례를 보존한 대규모·다차원 데이터셋이 있어야 모델의 review generation, scoring, calibration, decision-making 능력을 신뢰성 있게 평가할 수 있다.
• Approach: OpenReview의 모든 공개 review venue를 감사(audit)하여 PDF, 구조화된 score, rebuttal, meta-review, decision까지 포함하는 통합 스키마로 데이터를 수집하고, 이로부터 venue-year별 native scale과 output schema를 반영한 prompting으로 6개 open-weight LLM을 평가하는 baseline 실험을 수행했다.

Achievement

Figure 3. Calibration behaviour on REVIEWARENA-EVAL. Mean predicted rating as a function of binned mean human rating on

1. 대규모 통합 데이터셋 구축: 56개 conference prefix를 감사하여 7개 venue, 14종의 review-form variant를 아우르는 51,529편 논문·196,099개 review를 수집하고 Hugging Face PdfFolder 형식으로 공개했다.
2. Venue-aware 평가 벤치마크 제안: 6개 numerically rated venue에서 각 167편씩 총 1,002편을 추출한 ReviewArena-Eval을 구성하여, venue-year별 정확한 review form과 scale로 평가할 수 있게 했다.
3. LLM peer review 능력의 분리 규명: text mimicry, numeric calibration, decision discrimination이 서로 독립적인 능력임을 실험적으로 보였다(예: Qwen3.6-Plus는 overall-rating MAE 0.700으로 최고 성능이지만, Gemma-4-26B와 GLM-5.1은 numeric 정확도 없이 text similarity에서 우수).
4. NeurIPS 2025 post-rebuttal revision 기록: 명시적 review-revision invitation이 노출된 NeurIPS 2025에 대해 review 수정 여부와 reviewer의 최종 justification까지 기록했다.

How

Figure 5. Shared part of the REVIEWARENA-EVAL reviewer prompt. Venue-specific scale and JSON-schema blocks are inserted

• OpenReview v1/v2 API를 통해 56개 plausible conference prefix를 감사하고, Modal 기반 병렬 worker로 forum 단위 데이터를 수집(metadata, PDF, official review, rebuttal, comment, meta-review, decision)
• venue-year마다 다른 invitation encoding을 통합 paper row 스키마로 정규화하고 venue-year sweep마다 JSONL snapshot으로 원자적 저장
• 6개 numerically rated venue에서 각 167편씩 추출해 ReviewArena-Eval(1,002편) 구성
• Figure 4-6에 나타난 venue-year-aware scale 및 output-schema block을 포함한 prompt를 설계하여 reviewer guideline을 공유하되 venue별 scoring scale을 명시
• 6개 open-weight LLM(Qwen3.6-Plus, Gemma-4-26B, GLM-5.1 등)에 해당 prompt를 적용해 human rating, sub-score, free-text field, ICLR accept/reject decision과 비교

Originality

• 단일 target(점수 또는 텍스트)으로 단순화하지 않고 PDF, 14종 native review-form, rebuttal, meta-review, decision, post-rebuttal revision까지 보존하는 최초의 대규모 cross-venue 통합 데이터셋 구축
• Venue별 rating scale(1-5, 1-4, 1-10 등)의 이질성을 직시하고 이를 반영한 venue-year-aware prompting 및 native-scale scoring 프로토콜을 제안
• 기존 rebuttal-dialogue training set이나 단일 generation target 중심 연구(Re2 등)와 달리, 실제 review record를 벤치마크 인프라(infrastructure)로서 표준화·유지관리 가능한 형태로 제공하는 데 초점
• text mimicry, numeric calibration, decision discrimination을 별개 축으로 분리해 평가함으로써 LLM reviewer 평가의 다차원성을 드러냄

Limitation & Further Study

• 발췌된 내용만으로는 데이터 수집의 편향(예: 특정 venue의 review 공개 정책 차이, accept 논문 편중 가능성)에 대한 심층 논의가 제한적
• ICML은 2025년만 공개 review가 존재하는 등 venue별 연도 커버리지가 불균등하여 cross-year 비교에 제약이 있을 수 있음
• 평가에 사용된 6개 open-weight LLM 목록과 세부 실험 설정(예: temperature, few-shot 여부)이 발췌에서 충분히 드러나지 않아 재현성 검증이 어려움
• decision discrimination 평가가 ICLR accept/reject에 한정되어 있어 다른 venue의 decision 예측 능력에 대한 결론 일반화에 한계가 있음
• 후속 연구로 post-rebuttal revision 데이터를 활용한 rebuttal-aware LLM reviewer 학습, venue별 calibration 보정 기법 개발 등이 기대됨

Evaluation

총평: 규모, venue 다양성, native review-form 보존이라는 측면에서 실질적으로 유용한 인프라형 데이터셋·벤치마크 논문으로, LLM peer review 연구에 필요한 표준화된 평가 기반을 제공한다는 점에서 학계 기여도가 높다.