What Can Natural Language Processing Do for Peer Review?

Motivation

• Known: 전 세계적으로 매년 출판되는 과학 논문 수가 급증하고 있으며, 특히 AI 분야 학회(예: AAAI)는 연 1만 건 이상의 투고를 받고 있다. 동료 심사는 과학적 품질관리의 필수 요소이지만 시간 소모적이고 오류에 취약하다.
• Gap: 대규모 언어모델(LLM)의 등장으로 자동화된 동료 심사에 대한 논의가 증가하고 있지만, 구체적으로 어느 단계에서 NLP의 도움이 필요하고, 어디서 실제 적용 가능하며, 어디서는 자제해야 하는지에 대한 체계적 분석이 부재하다.
• Why: 과학 커뮤니티는 확장성, 비용, 편향, 저품질 리뷰, 부정행위 등 다층적 위기에 직면해 있다. 동료 심사의 모든 산출물(원고, 리뷰, 토론)이 텍스트 기반이므로 NLP가 개입할 여지가 크다.
• Approach: 저자들은 AI 학회의 심사 과정을 구체적 사례로 삼아, 제출부터 카메라-레디(Camera-ready) 수정까지 각 단계를 분석하고, 데이터 수집, 실험 방법론, 윤리적 이슈 등 거시적 도전과제를 다루며, 실행 계획(call for action)을 제시한다.

Achievement

그림 2: 동료 심사 전(Before Peer Review) 단계에서의 지원 영역

그림 3: 동료 심사 중(During Peer Review) 단계에서의 지원 영역

그림 4: 동료 심사 후(After Peer Review) 단계에서의 지원 영역

1. 프로세스 매핑: 동료 심사를 원고 제출, 리뷰어 할당, 리뷰 작성, 저자-리뷰어 토론, 메타-리뷰 작성, 수용 결정, 최종 수정의 7개 주요 단계로 체계화하고, 각 단계별 주요 도전과제(scale & logistics, cost, bias, quality, strategic behavior)를 명확히 도출했다.
2. NLP 개입 기회의 다층적 분류:
   • 사전 단계(Pre-review): 투고 적합성 검토, 표절 탐지, 원고 품질 평가
   • 심사 중(During review): 리뷰어 능력 추정, 리뷰 품질 평가, 충돌(conflict of interest) 탐지, 부정행위(collusion) 감지
   • 사후 단계(Post-review): 메타-리뷰 생성 지원, 수정안 추적, 의사결정 검증
3. 기술-사회적 도전과제의 종합 분석: 데이터 부족 및 라이센싱 문제, 평가 메트릭 부재, 윤리 이슈(투명성, 개인정보 보호, 편향), 신뢰 구축의 필요성 등을 구체적으로 논의했다.
4. 커뮤니티 자산 구축: 동료 심사 관련 주요 데이터셋을 수집하고 공개하는 companion repository 개발 (https://github.com/OAfzal/nlp-for-peer-review)

How

그림 5: 동료 심사 데이터는 의미론적, 구조적으로 복잡한 다양한 문서 유형을 포함함

• 원고 필터링: 범위(scope) 검증, 메타데이터 기반 적합성 판단, 구조적 오류 탐지를 통한 명확한 불적합 원고 사전 제거
• 리뷰어 할당 최적화: 토픽 모델링, 인용 네트워크 분석, 과거 리뷰 품질 점수를 활용한 능력 추정으로 최적 할당 실현
• 리뷰 품질 보증: 리뷰 길이, 구체성, 객관성, 건설적 피드백 정도를 자동 평가하고, 저품질 리뷰 조기 탐지로 재작성 요청
• 부정행위 탐지: 그래프 분석(reviewer-paper bipartite network)을 통한 collusion ring 탐지, 리뷰어-저자 간 의심스러운 패턴 식별
• 메타-리뷰 지원: 다중 리뷰 입력을 분석하여 핵심 합의/불일치 지점을 강조하고, 메타-리뷰어의 의사결정 속도 향상
• 편향 완화: 저자/기관 정보 마스킹 검증, 리뷰 텍스트의 성별/국가별 언어 편향 탐지, 역사적 편향 패턴 분석
• 추론 및 검증: 주장(claim) 추출, 과학적 근거(evidence) 기반 검증, 실험 재현성 평가 등 심층 이해 필요

Originality

• 최초의 종합적 지도(Comprehensive Mapping): 동료 심사의 전 과정을 체계적으로 분석하여 NLP 기여 가능성을 단계별로 명확히 한 최초의 종합 분석 논문
• 다학제적 관점 통합: NLP 기술뿐 아니라 게임 이론, 사회학, 심리학, 메타과학, HCI 등 다양한 학문과의 연결성을 제시하여 연구의 폭을 확대
• 현실주의적 접근: 완전 자동화의 가능성과 한계를 균형잡게 논의하고, 실현 가능한 보조(assistance) 중심으로 제안하는 성숙한 태도
• 커뮤니티 자산 구축: 산학이 협력하여 동료 심사 관련 데이터셋을 집계하는 공개 저장소 개발로 후속 연구의 기초 마련
• 실행 중심 제안(Actionable Call-for-Action): 과학자, NLP 연구자, 정책담당자, 펀딩 기관별 구체적 행동 계획을 제시

Limitation & Further Study

• 데이터 가용성 한계: 대부분 동료 심사 데이터는 기관 내 기밀 자산으로, 공개 데이터의 부재로 인해 알고리즘 개발과 검증이 어려움. 향후 데이터 공유 및 de-identification 기술 발전 필요.
• 평가 메트릭 부재: 리뷰 품질, 편향도, 부정행위 탐지 성능 등을 평가하기 위한 표준화된 메트릭이 없어 모델 비교가 어렴. 메타-메트릭(meta-metrics) 개발 필요.
• 설명가능성의 필요성: NLP 모델의 예측이 심사 의사결정에 영향을 미치는 만큼, 블랙박스 모델은 수용되기 어려움. 해석 가능한 모델(interpretable models) 개발이 필수.
• 완전 자동화의 한계: 동료 심사의 핵심(신규성 판단, 방법론 타당성 평가)은 여전히 인간 전문가의 판단이 필수이며, NLP는 보조 역할에 제한됨. 이 근본적 한계를 인식한 점진적 개선 방향 추구 필요.
• 윤리적 이슈 미해결: 자동화로 인한 리뷰어 역할 축소, 투명성 vs 프라이버시 간 균형, 알고리즘 편향 등 상당한 윤리적 고민이 남아 있음.
• 학회/저널별 특성 차이: 현재 논의가 AI 학회 중심으로, 다양한 학문분야(의학, 생물학, 사회과학)의 심사 특성 반영 필요.

Evaluation

총평: 본 논문은 NLP가 동료 심사 개선에 기여할 수 있는 영역을 최초로 체계적으로 매핑한 중요한 기초 연구이다. 완전 자동화의 불가능성을 냉철히 인식하면서도 현실적이고 단계적인 개선안을 제시하는 성숙함을 보여주며, 구체적인 call-for-action과 데이터셋 저장소 구축으로 후속 연구의 기반을 마련했다는 점에서 높이 평가할 수 있다. 다만 현재 분석이 AI 학회에 편중되고, 각 단계별 기술적 실현 방안이 개략적 수준에 머물러 있으며, 데이터 부족 및 평가 메트릭 부재 등 구조적 장애물들이 상당히 남아 있다는 점은 향후 극복해야 할 과제이다.