Can large language models provide useful feedback on research papers? A large-scale empirical analysis

Motivation

• Known: 기존 peer review 체계는 확장성 제한과 고품질 피드백 부족 문제를 겪고 있으며, 특히 주변부 연구자들이 타이밍 있는 피드백에 접근하기 어렵다는 점이 알려져 있다.
• Gap: LLM이 과학 피드백 생성에서 실제로 얼마나 유용한지, 인간 리뷰어와의 관계를 어떻게 정의할 수 있는지에 대한 대규모 실증적 분석이 부족했다.
• Why: peer review의 병목 현상과 과학적 부등식 심화는 과학 생산성의 지속 가능성을 위협하는 중요한 문제이며, LLM이 이를 보완할 수 있는지 규명하는 것이 긴급하게 필요하다.
• Approach: GPT-4 기반 자동화된 파이프라인을 개발하여 논문 PDF에서 structured feedback을 생성하고, 두 가지 대규모 데이터셋(Nature 저널 및 ICLR)에 대해 LLM과 인간 리뷰어의 피드백을 정량적으로 비교 분석했으며, 308명의 연구자와 prospective user study를 실시했다.

Achievement

Figure 1. Characterizing the capability of LLM in providing helpful feedback to researchers. a, Pipeline for

LLM-인간 피드백 겹침: Nature 저널 평균 30.85%, ICLR 평균 39.23%로 인간 리뷰어 간 겹침(Nature 28.58%, ICLR 35.25%)과 유사함. 사용자 인식: 57.4%의 연구자가 GPT-4 피드백을 도움/매우 도움이 된다고 평가했으며, 82.4%는 일부 인간 리뷰어보다 더 유용하다고 판단. 약한 논문에 대한 성능: 거절된 ICLR 논문에서 겹침이 43.80%로 높아 LLM이 lower-quality 논문 식별에 더 효과적.

How

Figure 3. LLM based feedback emphasizes certain aspects more than humans. LLM comments on the

• 전체 PDF 파싱 및 논문별 프롬프트 구성(제목, abstract, figure/table captions, 본문 텍스트 활용)
• extractive text summarization으로 LLM과 인간 피드백에서 주요 코멘트 추출
• semantic text matching을 통한 의미 수준의 겹침 분석
• 피드백 주제 분포 비교로 LLM의 강점/약점 식별
• 308명 연구자 대상 온라인 설문조사로 주관적 유용성 평가
• 다양한 기관(110개 US 기관) 및 경력 수준의 연구자 포함

Originality

• 과학 피드백 생성에 대한 LLM의 능력을 대규모(4,805개 논문)로 처음 체계적으로 평가
• 인간 리뷰어와의 직접 비교를 통해 LLM의 상대적 위치 규명
• retrospective(데이터셋 기반) 및 prospective(사용자 조사) 이중 평가 방법론
• 다학제적 dataset(Nature) 및 특정 분야 깊이(ICLR) 모두 포괄

Limitation & Further Study

• GPT-4는 메서드 설계의 심화된 비평 제공에 어려움(방법론적 약점)
• 특정 유형의 피드백(예: 'add experiments on more datasets')에 편향된 집중
• 2022년 이후 데이터만 사용하여 시간적 범위 제한
• 사용자 조사가 주로 미국 기관 및 AI/computational biology 분야로 제한되어 일반화 가능성 의문
• LLM 피드백의 hallucination 또는 factual error 문제에 대한 깊이 있는 분석 부재
• 비용 및 계산 자원 측면의 실제 applicability에 대한 논의 부족

Evaluation

총평: 본 논문은 LLM이 과학 피드백 생성에서 실질적인 가치를 제공할 수 있음을 대규모 실증 데이터로 처음 보여준 중요한 기여이다. 인간 리뷰어와의 비교 분석이 체계적이고, 사용자 조사가 현실적 유용성을 강화하나, LLM의 방법론적 약점과 주제 편향에 대한 해결책이 제시되지 않아 실무 적용에는 제약이 있다.