ReviewerGPT? An Exploratory Study on Using Large Language Models for Paper Reviewing

Motivation

• Known: LLM들은 다양한 분야에서 뛰어난 성능을 보이고 있으며, 과학 심사 과정은 투고 증가와 검토자 과부하로 심각하게 압박받고 있음
• Gap: LLM이 논문 심사의 어느 부분에서 실질적으로 유용한지, 어떤 작업은 가능하고 어떤 작업은 불가능한지에 대한 체계적인 평가 부재
• Why: 전 세계 연구자들이 심사에 투자하는 막대한 시간 비용(수백만 시간)과 인간 검토자도 오류 있는 논문을 놓치는 문제(30-40% 정도)를 해결할 필요
• Approach: 세 가지 구체적인 심사 작업(오류 탐지, 체크리스트 검증, 논문 비교)을 설계하여 GPT-4의 성능을 정량적으로 평가

Achievement

1. 오류 탐지 능력: 의도적으로 오류를 삽입한 13개의 단편 논문 중 7개(53.8%)에서 오류 탐지 성공. 이는 인간 검토자의 오류 탐지율과 비슷한 수준으로, 수학적 오류와 개념적 오류 모두 포함
2. 체크리스트 검증: NeurIPS 2022의 15개 논문에서 119개의 {체크리스트 질문, 논문} 쌍에 대해 86.6% 정확도 달성. 저자의 응답과도 동일한 86.6% 일치율을 보였으며, 50%의 LLM 오류는 논문의 텍스트로 판단 불가능한 질문(예: 그림의 정보 필요)에서 발생
3. 논문 비교 선택의 한계: 명확하게 우월한 초록으로 구성된 10개 쌍 중 6개(60%)에서 실패. 편향된 결과 해석, 매개변수 범위 오독, 통계 경계값 오해, 프롬프트 인젝션 공격에 취약, 과장된 표현에 영향을 받는 등의 문제 확인

How

• 모델 선택: 파일럿 스터디를 통해 Bard, Vicuna, Koala, Alpaca, LLaMa, Dolly, OpenAssistant, StableLM 등 8개 모델과 비교한 결과 GPT-4만이 오류 탐지 가능
• 프롬프팅 전략: 단순히 "리뷰를 작성하라"는 요청보다 "오류를 찾아라"와 같은 구체적인 질문을 포함한 타겟 프롬프트가 훨씬 효과적
• 오류 탐지 실험: 3가지 프롬프트 변형(Direct, One-Shot, Few-Shot) 사용하여 단계별 추론(step-by-step reasoning) 활용
• 체크리스트 검증: 저자가 "예"로 답변한 항목들을 수동으로 라벨링하고 관련 논문 섹션과 함께 제시하여 3회 응답의 다수결로 최종 판단
• 비교 평가: 동일한 초록에 추가 결과를 포함, 유행어/과장 표현 삽입 등 의도적인 변수 조작

Originality

• LLM을 논문 심사의 구체적인 세부 작업으로 나누어 평가한 최초의 체계적 연구
• 오류가 의도적으로 삽입된 13개의 단편 논문 데이터셋과 119개의 체크리스트 {질문, 논문} 쌍 레이블링된 데이터셋 공개
• 프롬프팅 전략에 따른 성능 차이를 정량적으로 입증
• LLM의 약점(선택적 평가, 요약 평가)을 체계적으로 드러낸 실증 분석

Limitation & Further Study

• 데이터 규모 제한: 오류 탐지 13개, 비교 평가 10개 쌍으로 통계적 일반화 어려움
• 모델 범위: GPT-4만 심도 있게 평가하여 다른 최신 모델(Claude 등)과의 비교 부재
• 도메인 한정: 컴퓨터 과학 분야에만 초점, 다른 학문 분야의 적용 가능성 미지수
• 평가 기준의 주관성: "우월한 초록" 설계가 다소 인위적일 수 있으며, 실제 피어 리뷰의 복잡성 미반영
• 후속 연구: (1) 더 큰 규모의 데이터셋으로 신뢰도 향상, (2) 인간 검토자와의 직접 비교, (3) Chain-of-Thought 등 고급 프롬프팅 기법 적용, (4) 여러 모델의 앙상블 활용, (5) 특정 분야별 미세조정(fine-tuning) 가능성

Evaluation

총평: 급부상하는 LLM의 논문 심사 활용 가능성을 최초로 체계적으로 탐색한 중요한 연구로, GPT-4가 오류 탐지와 체크리스트 검증에서는 유망하지만 완전한 평가는 아직 불가능함을 실증했다. 다만 소규모 실험 데이터셋과 제한된 모델 비교가 일반화 가능성을 다소 제약한다.