Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards

Motivation

• Known: AI 학술대회(ICML, ICLR, NeurIPS, CVPR 등)의 논문 제출이 기하급수적으로 증가하고 있으며, 전통적 피어 리뷰 시스템이 이를 감당하지 못하고 있음
• Gap: 현재의 일방향 리뷰 시스템에서 심사자는 책임성이 없는 반면, 저자는 거부에 대한 모든 결과를 감수해야 하는 권력 불균형 존재. 심사자에 대한 동기부여 메커니즘 부재
• Why:
  • 심사자 방치(Reviewer Negligence): 영향력 없는 심사에 대한 책임성 부족
  • LLM 생성 리뷰의 증가로 인한 기술적 깊이 저하
  • 심사자 착취: 보상 없는 고강도 업무 부담 (짧은 마감, 이중 역할)
  • 시스템 측의 동기부여 부족
• Approach:
  1. 양방향 2단계 리뷰 시스템: 저자가 리뷰 품질을 평가하되, 보복 행동을 최소화하는 구조
  2. 체계화된 심사자 보상 제도: 검증 가능한 학술 자격으로 축적 가능한 보상 프레임워크

Achievement

제안된 양방향 2단계 피어 리뷰 시스템 수정안. (A) 현재의 표준 더블블라인드 시스템, (B) 2단계 및 3단계에서의 최소한의 수정으로 저자 피드백 및 심사자 평가 단계 삽입.

1. 구조적 개혁: 기존 더블블라인드 시스템에 최소한의 수정을 가하여 양방향 피드백 메커니즘 도입
   • 1차: 요약(Summary), 강점(Strengths), 질문(Questions) 공개
   • 저자 피드백: 논문 이해도 + LLM 플래그 평가
   • 2차: 약점(Weaknesses), 등급(Rating) 공개
2. 심사자 보상 제도: 디지털 배지 시스템을 통한 검증 가능한 학술 자격 축적으로 장기적 전문성 신뢰도 구축

How

• 2단계 더블블라인드 프로세스:
  • 1단계 리뷰 공개 후 저자가 논문 이해도 및 LLM 생성 여부 평가
  • 보복 우려 최소화를 위해 평가 정보는 다음 단계에서만 심사자 공개
  • 기존 타임라인 내에서 구현 가능
• 저자 피드백 메커니즘:
  • 객관적 기준(논문 이해도, LLM 탐지 플래그)에 기반한 평가
  • 심사자 신원 보호 유지
• 심사자 보상 시스템:
  • 품질 리뷰에 대한 누적 인정
  • 이력서/CV에 명시 가능한 검증 가능한 자격
  • 학술 경력에서의 실질적 가치 제공

Originality

• 이원적 책임성 프레임워크: 저자와 심사자 간의 비대칭적 책임구조를 최소한의 수정으로 개선
• 심사 품질 평가의 객관화: LLM 탐지 등 기술적 지표와 이해도 평가를 결합한 평가 방식
• 실행 가능한 설계: 기존 컨퍼런스 타임라인과 인프라(OpenReview)에 용이하게 적응 가능
• 근본 원인 분류: 해결 불가능한 원인(제출 급증, AI 분야의 빠른 변화)과 해결 가능한 원인(심사자 방치, 착취, 시스템 미흡)의 명확한 구분

Limitation & Further Study

• 근본적 한계: 제출 논문 증가와 AI 분야의 급속한 변화는 "리뷰 품질 천장선(review quality ceiling)"을 만들어 시스템 개선만으로는 극복 불가
• 실행 장애물:
  • 컨퍼런스 간 보상 시스템의 호환성 문제
  • 저자의 보복 행동 완전 차단 불가능성
  • LLM 탐지 도구의 신뢰성 부족
• 후속 연구 필요:
  • 보상 시스템의 게임화(gamification) 방지 메커니즘 개발
  • 컨퍼런스 간 상호 인증 가능한 글로벌 심사자 자격 시스템 구축
  • 선택적 논문 제출 제한 및 리뷰 쇼핑(review shopping) 억제 정책 개발
  • 심사 품질 평가의 더욱 정교한 메트릭 개발

Evaluation

총평: 본 논문은 AI 컨퍼런스 피어 리뷰 위기의 근본 원인을 체계적으로 분석하고, 권력 불균형 해소와 심사자 동기부여라는 두 가지 관점에서 실행 가능한 개혁안을 제시한 의미 있는 위치 논문이다. 다만 양방향 피드백 시스템의 세부 구현과 보복 방지 메커니즘, 보상 시스템의 실질적 운영 방안에 대한 더욱 정교한 설계가 필요하다.