Position: AI Should Verify, Not Judge, Scientific Work

Motivation

• Known: peer review는 논문 투고량 급증과 리뷰어 과부하 문제를 겪고 있으며, 이를 완화하기 위해 AAAI, NeurIPS 등 주요 학회와 여러 연구에서 LLM 기반 AI reviewer를 실험적으로 도입하거나 공식 프로세스에 편입시키고 있다.
• Gap: 기존 논의는 AI reviewer가 인간 리뷰어를 대체할 수 있는지 여부에 초점을 맞추며 기술적 성능 개선에 치중해 있으나, peer review가 지닌 가치 기반(value-driven) 목표—인식론적 중요성 판단, 윤리적 감독, 사회문화적 합의 형성 등—를 AI가 대체할 수 있는지에 대한 원칙적 분석이 부족하다.
• Why: AI reviewer의 무분별한 도입은 peer review가 오랫동안 유지해온 학계의 사회적 계약(social contract)을 훼손하고, 상업적이고 불완전한 AI 산출물에 과학적 검증을 위탁하는 위험을 초래할 수 있어, 책임 있는 AI 통합 방향을 제시하는 것이 시급하다.
• Approach: 이 논문은 peer review의 목표를 technical goals(AI-verifiable)와 value-driven goals(human-required)로 구분하는 개념적 프레임워크를 제시하고, 이를 바탕으로 AI reviewer와 AI review tool을 구분하여 후자의 역할을 지지하는 position 논증을 전개한다.

Achievement

1. 개념적 구분 제시: AI reviewer(완전 자동화된 심사자)와 AI review tool(코드, 정리, 문법 등 특정 측면을 검증하는 시스템)을 명확히 구분하여 논의의 틀을 제공했다.
2. Peer review 목표의 이원화 프레임워크(Table 1): peer review의 목표를 Quality Assurance, Verification, Reproducibility, Scientific Development 등 AI가 검증 가능한 technical goals와 Epistemic Evaluation, Alignment & Scope, Knowledge Building, Consensus, Ethical Oversight 등 인간 판단이 필요한 value-driven goals로 분류했다.
3. 역사적·제도적 맥락화: Henry Oldenburg의 1665년 peer review 기원부터 현재 AAAI, NeurIPS, La Caixa Foundation의 AI reviewer 도입 사례까지 폭넓게 조사하여 논증의 근거를 마련했다.
4. 책임 있는 통합을 위한 연구 방향 제시: AI를 저자 단계의 검증 도구로 활용하여 제출물 품질을 높이고 후속 평가를 원활히 하는 방향의 연구 의제를 제안했다.

How

• Peer review의 역사와 현재 AI reviewer 도입 사례(AAAI 2026, NeurIPS 2026, La Caixa Foundation 등)를 문헌 조사를 통해 정리
• Peer review의 목표를 technical goals와 value-driven goals로 나누는 taxonomy를 구축하고 Table 1로 시각화
• 각 목표 범주에 대해 AI가 잘 수행할 수 있는 영역(문법 검사, 통계적 타당성 검증, 재현성 확인)과 인간 고유의 판단이 필요한 영역(참신성 평가, 윤리적 감독, 커뮤니티 합의 형성)을 구분하여 논증
• AI reviewer의 한계를 기술적 성능 문제가 아니라 과학을 집단적으로 가치화하고 인식하는 방식의 문제로 재구성하여 설명
• 기존 AI reviewer 관련 연구(Weng et al., 2025; Mann et al., 2025 등)를 비판적으로 검토하며 AI review tool의 잠재력을 별도로 분석

Originality

• AI reviewer와 AI review tool을 명확히 구분하는 개념적 틀을 제시한 점이 기존 연구 대비 독창적이다.
• Peer review의 목표를 technical/value-driven으로 이원화하여 AI 적용 가능 영역을 체계적으로 매핑한 Table 1은 논쟁을 구조화하는 데 기여한다.
• AI reviewer의 한계를 단순 기술적 한계가 아닌 과학 커뮤니티의 가치 형성 과정(sociocultural, epistemic)의 문제로 프레이밍한 관점이 새롭다.

Limitation & Further Study

• Position paper 특성상 실증적 실험이나 정량적 평가 없이 개념적 논증과 문헌 인용에 의존하고 있어 주장의 경험적 근거가 제한적이다.
• Technical goals와 value-driven goals의 경계가 실제로는 모호할 수 있으며(예: reproducibility 검증도 도메인 전문성을 요구할 수 있음), 이분법적 프레임워크의 일반화 가능성에 대한 검증이 부족하다.
• 제안된 "AI review tool을 저자 단계에서 활용"하는 방향이 실제로 어떻게 구현되고 평가되어야 하는지에 대한 구체적 방법론이나 파일럿 연구가 부족하며, 후속 연구에서 실제 도구 개발과 검증 실험이 필요하다.
• 발췌된 본문이 논문의 초반부(introduction, Section 2)에 국한되어 있어 후반부에 제시된 연구 방향(Section 5 등)의 구체성을 충분히 평가하기 어렵다.

Evaluation

총평: AI reviewer 도입 논쟁에 대해 peer review의 가치론적 기반을 재조명하며 명확한 개념적 구분을 제시하는 시의적절한 position paper이나, 실증적 근거보다는 논증적 서술에 의존하는 한계가 있다.