/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/270_Detecting_llm-written_peer_reviews

Motivation

• Known: 기존 연구들은 GPTZero와 같은 LLM 생성 텍스트 탐지 도구나 stylistic repetition, re-prompting 기반 output consistency 검사 등을 통해 LLM 작성 리뷰를 식별하려 했으며, ICLR 2024 등의 리뷰 중 상당수(15.8% 이상)가 AI-assisted로 추정된다는 정량 분석도 존재한다.
• Gap: 기존 탐지 기법들은 완전히 LLM이 생성한 리뷰와 단순히 AI로 다듬어진 리뷰를 구분하지 못하며, human-written review의 특성에 대한 가정에 의존해 systematic false positive에 취약하고, 다수 리뷰 동시 평가 시 FWER 등 formal statistical guarantee가 부재하다는 한계가 있다.
• Why: peer review의 무결성은 과학적 진보의 근간이며, 다수 학회·기관이 LLM 사용 리뷰를 금지하고 있으나 실효적인 집행 수단이 없는 상황에서, 통계적으로 엄밀하고 신뢰할 수 있는 탐지 기법은 정책 집행과 학술 생태계 신뢰 유지에 실질적으로 기여할 수 있다.
• Approach: 논문 PDF에 사람에게는 보이지 않지만 LLM에는 처리되는 indirect prompt injection(white-text, font manipulation, cryptic/jailbreak prompt 등)을 삽입해 LLM이 review 생성 시 fake citation이나 rare technical phrase 같은 covert watermark를 포함하도록 유도하고, 이를 FWER를 통제하는 통계적 가설검정으로 탐지한다.

Achievement

1. 높은 watermark 삽입 성공률: fake citation 삽입 전략이 여러 LLM과 injection 기법 전반에서 평균 98.6%의 성공률을 달성했다.
2. paraphrasing에 대한 강건성: 다른 LLM에 의해 paraphrase된 이후에도 94% 이상의 watermarked review가 watermark를 유지했다.
3. 도메인 일반화: NSF grant proposal에 대해서도 최대 89%의 watermark 삽입 성공률을 보여 연구논문 이외 영역으로의 적용 가능성을 입증했다.
4. cryptic prompt injection의 효과성: jailbreaking 기반 cryptic prompt 기법이 평균 91%의 성공률을 보였고, 무작위 20개 샘플 중 19개에서 watermark가 검출되었다.
5. 통계적 검정의 실증적 검증: FWER-controlling test가 10,000개 이상의 리뷰에서도 높은 power와 zero false positive를 유지한 반면, Bonferroni/Holm-Bonferroni 보정은 지나치게 보수적이어서 실용성이 떨어짐을 확인했다.

How

Workflow diagram

• Watermarking: statistical testability, human-written review 변동성으로부터의 독립성, 성공적 embedding, 인간에게 비가시적, paraphrasing에 대한 resilience 등 5가지 desiderata를 만족하는 watermark(예: 무작위 fake citation, rare technical phrase)를 설계.
• Indirect prompt injection: 논문 PDF에 white-text cue, font manipulation, cryptic/adversarial jailbreaking prompt 등 다양한 기법으로 숨겨진 지시문을 삽입해 LLM이 review 생성 시 watermark를 포함하도록 유도.
• Statistical detection: 여러 review에 걸쳐 watermark 존재 여부를 검정하면서 FWER를 통제하는 hypothesis test를 설계하고, Bonferroni 등 표준 보정 대비 더 높은 statistical power를 확보.
• 실험 검증: ICLR 2024 제출 논문, ICPRSP 2022 abstract, PeerRead dataset, NSF grant proposal 등 다양한 실제 데이터셋과 ChatGPT 4o, o1-mini, Gemini 2.0 Flash, Claude 3.5 Sonnet, LLaMA 2, Vicuna 1.5 등 다양한 LLM에 대해 실험 수행.

Originality

• indirect prompt injection을 통해 LLM 출력에 covert watermark를 삽입한다는 아이디어는 anecdotal하게 존재했으나, 이를 formal statistical guarantee(FWER 통제)와 결합해 rigorous한 detection framework로 정식화한 것이 독창적이다.
• human-written review의 특성에 대한 가정 없이 false positive를 통제하는 hypothesis test 설계는 기존 stylistic/consistency 기반 탐지법과 차별화된다.
• adversarial jailbreaking 기법을 harmful output 유도가 아닌 peer review 내 watermark 삽입이라는 새로운 목적에 최초로 재활용(repurpose)했다는 점도 독창적이다.
• font-based embedding, cryptic prompt 등 다양한 indirect prompt injection 전략을 reviewer defense 시나리오(예: paraphrasing) 하에서 체계적으로 비교 평가했다.

Limitation & Further Study

• 제안된 기법은 논문 PDF에 대한 접근 및 사전 삽입 권한을 전제로 하며, 학회/저널 조직위가 실제로 이를 채택해야 실효성이 있어 제도적/윤리적 채택 장벽이 존재한다.
• reviewer가 LLM을 아예 사용하지 않거나, PDF를 다른 경로(예: 이미지 캡처, OCR 우회)로 LLM에 입력할 경우 방어가 무력화될 가능성이 있다.
• cryptic/jailbreaking 기반 prompt injection은 향후 LLM 안전성 패치나 defense 메커니즘 발전에 따라 효과가 저하될 수 있어 지속적인 업데이트가 필요하다.
• 실험이 주로 특정 LLM 및 데이터셋에 한정되어 있어, 더 다양한 실제 배포 환경 및 적대적 reviewer 행동에 대한 추가 검증이 필요하다.
• 윤리적으로 학술 저자가 은밀하게 심사자의 행동을 감시/기록하는 것에 대한 사회적 합의 및 정책적 논의가 추가로 요구된다.

Evaluation

총평: peer review 무결성이라는 실질적이고 시의성 있는 문제에 대해 통계적으로 엄밀한 watermark 기반 탐지 프레임워크를 제안하고 다양한 실험으로 이를 검증한 견실한 연구이나, 실제 채택을 위한 제도적·윤리적 논의와 더 광범위한 defense 시나리오에 대한 추가 검증이 필요하다.