GoodPoint: Learning Constructive Scientific Paper Feedback from Author Responses

Motivation

• Known: LLM이 peer review 등 과학 연구 과정을 자동화하려는 시도가 늘고 있으며, 기존 LLM 생성 리뷰는 구체성(specificity)과 실행 가능성(actionability)이 부족하고 인간 리뷰어의 우선순위와 잘 맞지 않는다는 한계가 알려져 있다.
• Gap: 건설적 피드백을 정의하고 이를 학습·평가 프레임워크로 operationalize하는 두 가지 근본적 과제가 해결되지 않았으며, 기존 자동 리뷰 시스템은 리뷰어 행동을 모방하는 데 초점을 맞춰 저자 관점에서의 유효성·실행 가능성을 명시적으로 반영하지 못했다.
• Why: LLM을 통한 과학적 판단 대체가 아니라 특히 주니어 및 비영어권 연구자 등 소외된 연구자들에게 시의적절하고 전문적인 피드백을 제공함으로써 연구자를 보조(augment)하는 실질적 가치를 지니며, 이는 human-AI collaboration 관점에서 중요하다.
• Approach: 저자 응답을 신호로 활용해 validity(유효성)와 actionability(실행 가능성)라는 author-centric 축을 정의하고, 이 정의를 바탕으로 19K ICLR 논문 데이터셋(GOODPOINT-ICLR)을 구축한 뒤 SFT와 DPO를 결합한 GOODPOINT 훈련 레시피로 Qwen3-8B를 미세조정한다.

Achievement

Figure 2. LLM-judged feedback quality score distributions for baseline models, GOODPOINT models, and human reviewers on

1. GOODPOINT-ICLR 데이터셋 구축: 2020-2026년 ICLR 논문 19,534편의 리뷰 논의를 feedback-response 단위로 분해하고 validity·actionability 레이블을 부여한 대규모 데이터셋을 공개함.
2. 성능 개선: GOODPOINT로 훈련된 Qwen3-8B가 1.2K ICLR 논문 held-out 테스트셋에서 예측된 피드백 성공률(predicted feedback success rate)을 기반 모델 대비 83.7% 향상시켰음.
3. 정밀도 우위: 다중 리뷰어 consensus feedback과의 매칭에서 GOODPOINT-SFT가 F1을 58.8% 개선했고, 훨씬 작은 규모임에도 Gemini-3-flash와 GPT-5.2를 precision에서 능가함.
4. 인간 평가 검증: 실제 논문 저자 대상 인간 평가에서 GOODPOINT-DPO가 validity, actionability, specificity, helpfulness 전 항목에서 base 모델 대비 개선되었고 Gemini-3-flash와의 격차를 유의미하게 줄임.

How

Figure 4. Illustration of human consensus-based feedback evaluation with example feedback sets. Matches between human fe

• 리뷰어 코멘트를 GPT-4.1로 자동 파싱해 self-contained feedback 단위와 대응하는 저자 응답 쌍으로 분해하고, 인간 주석으로 파싱 정확도를 검증함
• 각 feedback 항목에 대해 저자가 이를 valid로 인정하는지(V), 그리고 구체적 후속 조치를 언급하는지(A)를 레이블링하여 success(fi, ri) = V ∧ A로 정의함
• 6K 논문에서 valid하고 actionable한 feedback을 (paper, aggregated feedback) 쌍으로 구성해 Qwen3-8B를 SFT함(GOODPOINT-SFT)
• 실제 success/invalid 레이블 기반 preference pair와, specificity·clarity·accuracy·essentialness·supportive tone 등 5개 차원을 겨냥한 synthetic corruption으로 생성한 rejected 샘플을 함께 사용해 DPO로 추가 정렬함(GOODPOINT-DPO)
• LLM-as-a-judge로 corruption의 품질을 검증하고 고품질 preference pair만 선별함
• 평가를 위해 author response prediction과 human consensus 기반 feedback matching이라는 두 가지 자동 평가 프레임워크를 개발하고, 전문가 인간 평가로 이를 보완함

Originality

• LLM 생성 리뷰의 품질을 리뷰어의 관점이 아닌 저자 응답이라는 실제 상호작용 데이터를 통해 정의하고 검증한 author-centric 접근이 새로움
• validity와 actionability라는 두 축을 결합해 "성공적 피드백"을 조작적으로 정의하고, 이를 SFT와 DPO 학습 신호로 직접 연결한 훈련 레시피가 독창적임
• 실제 preference pair뿐 아니라 5개 품질 차원을 겨냥한 synthetic corruption을 활용해 DPO 학습 데이터를 보강하는 방식이 특징적임
• 자동 평가(author response prediction, human consensus matching)와 실제 저자 대상 인간 평가를 결합해 평가 프레임워크 자체를 제안한 점도 기여임

Limitation & Further Study

• 데이터가 ICLR이라는 단일 학회, 특정 시기(2020-2026)의 논의에 국한되어 있어 다른 학회나 저널, 다른 연구 분야로의 일반화 가능성이 불확실함
• 저자 응답 자체가 완벽한 품질 신호는 아닐 수 있음(예: 저자가 시간 부족이나 정치적 이유로 유효한 지적에 반박하거나, 실행 가능한 제안임에도 언급하지 않는 경우 등 노이즈 가능성)
• GPT-4.1을 이용한 자동 파싱과 LLM-as-a-judge 기반 corruption 검증에 의존하므로 이 과정에서의 오류가 데이터셋과 모델 품질에 전파될 위험이 있음
• 향후 연구로 다양한 venue·분야로 데이터셋을 확장하고, 실제 리뷰 프로세스에 배포했을 때의 장기적 영향(예: 저자 행동 변화, 리뷰 생태계에 미치는 영향)을 검증할 필요가 있음

Evaluation

총평: 저자 응답이라는 자연스럽고 실질적인 신호를 활용해 건설적 피드백을 정의·학습·평가하는 체계적이고 실용적인 프레임워크를 제시한 견실한 연구로, 대규모 데이터셋 공개와 인간 평가를 통한 검증이 특히 인상적이다.