Beyond Perplexity: Character Distribution Signatures and the MDTA Benchmark for AI Text Detection

Motivation

• Known: Binoculars, DNA-DetectLLM, FastDetectGPT와 같은 training-free 탐지 방법들은 model log-probability를 분석하여 강력한 성능을 보여왔으며, 이는 현재 AI 텍스트 탐지의 SOTA로 자리잡고 있다.
• Gap: 그러나 LLM이 RLHF를 통해 human-like probability distribution을 생성하도록 최적화되면서 perplexity 기반 방법들은 근본적인 성능 한계(ceiling)에 부딪히고 있으며, 이는 probability 분포와 독립적으로 작동하는 orthogonal한 탐지 신호의 필요성을 제기한다.
• Why: AI 텍스트 탐지는 학술 부정행위 방지, 법률·의료 문서에서의 hallucination 방지 등 고위험 응용에서 중요하며, model 내부 접근(logits/log-probability) 없이도 작동하는 black-box 친화적 탐지 신호는 실용성과 확장성 측면에서 큰 가치를 가진다.
• Approach: AI 모델은 방대한 domain-balanced corpora로 학습되어 global character 패턴에 수렴하는 반면 인간은 domain-specialized된 편향된 분포를 보인다는 이론(Law of Large Numbers 기반 exposure scale 분석)을 제시하고, 이를 기반으로 letter distribution divergence를 측정하는 LD-Score를 도입하여 "Wall of Separation" 현상을 실증적으로 검증한다.

Achievement

Figure 5. Domain-specific LD-Score analysis on some domains of the MDTA dataset. Top row: Pairwise distance matrices. Mi

1. 이론적 기반 제시: Law of Large Numbers를 활용해 AI(NAI≈750 billion words)와 인간(Nhuman≈1.67 billion words)의 노출 규모 차이(약 450배)로부터 global word/letter distribution에 대한 근사 오차를 수학적으로 도출하고, 이를 통해 human-AI 간 divergence가 AI-AI 간 divergence보다 유의미하게 큰 "Wall of Separation" 현상을 이론적으로 뒷받침한다.
2. MDTA 벤치마크 구축: 4개 모델, 5개 도메인, 3개 temperature 설정, 3개 adversarial 전략(lipogrammatic 제약 포함)을 아우르는 642,274개의 prompt-aligned 샘플로 구성된 대규모 데이터셋을 구축하여 기존 HC3 데이터셋 대비 모델-온도 다양성, 도메인 커버리지, adversarial augmentation 측면을 크게 확장했다.
3. LD-Score 도입 및 검증: perplexity 기반 방법들(Binoculars, DNA-DetectLLM, FastDetectGPT)과 낮은 상관관계(r=0.08–0.13)를 보이는 orthogonal한 metric인 LD-Score를 제안하고, 이를 non-linear classifier로 기존 방법과 결합했을 때 AUROC와 F1이 개선됨을 실증했다.
4. 도메인별 효과 분석: finance, medicine과 같이 vocabulary가 제한된 전문 도메인에서 character-level 탐지 신호가 증폭되어 더 큰 성능 향상을 보임을 확인했다.

How

Figure 3. Domain-specific LD-Score analysis on Ghostbuster dataset. Top row: Pairwise Jensen-Shannon distance matrices.

• 문자(A-Z) 단위 확률 분포를 인간 텍스트와 다양한 AI 모델 텍스트에서 추출하고, 이들 간 pairwise divergence(LD-Score)를 계산하여 "Wall of Separation" 가설을 PCA 및 pairwise 비교로 시각적·정량적으로 검증
• Ghostbuster 데이터셋과 자체 구축한 MDTA 데이터셋에서 도메인별(예: finance, medicine 등) LD-Score 분석을 수행
• letter-level log-probability deviation을 human baseline 대비 측정하여 도메인 및 모델별 편차 패턴 분석
• HC3 데이터셋을 확장하여 4개 모델(다양한 temperature 설정 포함) × 5개 도메인 × 3개 adversarial 전략(lipogrammatic 제약 등)으로 구성된 MDTA 벤치마크 구축
• LD-Score를 기존 perplexity 기반 탐지 방법(Binoculars, DNA-DetectLLM, FastDetectGPT)과 non-linear classifier를 통해 결합하여 AUROC, F1 성능 개선 여부 평가

Originality

• 기존 stylometric·n-gram 기반 방법들이 단어/구문 수준의 표면적 특징에 의존해 fine-tuning으로 쉽게 우회될 수 있는 것과 달리, character(letter) 분포라는 더 근본적이고 조작하기 어려운 신호를 탐지에 활용한 점이 독창적이다.
• Benford's law, Zipf's law 등 자연 발생적 통계 패턴에서 영감을 받아 letter-level 분포가 언어 구조의 근본적 속성을 인코딩한다는 가설을 제시하고, 이를 exposure scale과 Law of Large Numbers 기반으로 수학적으로 정식화한 이론적 기여가 신선하다.
• model 내부 접근(logits, log-probability) 없이 작동하는 완전한 training-free, black-box 친화적 탐지 신호를 제안하여 기존 perplexity 기반 방법들의 근본적 한계(RLHF로 인한 detection ceiling)를 보완하는 orthogonal한 관점을 제공한다.
• lipogrammatic constraint 등 character-level 탐지를 표적으로 하는 adversarial 전략을 포함한 대규모 벤치마크(MDTA)를 새롭게 구축하여 커뮤니티에 공개한 점도 실용적 기여이다.

Limitation & Further Study

• LD-Score 단독 성능이 perplexity 기반 방법 대비 어느 정도인지, 그리고 결합 시 improvement의 절대적 크기가 실무적으로 유의미한 수준인지에 대한 상세한 수치적 근거가 발췌 부분에서는 충분히 드러나지 않는다.
• 이론적 기반(exposure scale 논증)이 다소 단순화된 가정(예: 균등한 daily reading time, proportional sampling)에 의존하고 있어 실제 인간 언어 노출의 복잡성을 완전히 반영하지 못할 가능성이 있다.
• lipogrammatic 등 adversarial 전략에 대한 강건성이 실제로 얼마나 확보되는지, 그리고 향후 모델들이 letter distribution까지 모방하도록 최적화될 경우의 장기적 유효성에 대한 논의가 필요하다.
• 4개 모델과 5개 도메인으로 제한된 MDTA의 다양성이 실제 배포 환경의 다양한 LLM 및 도메인을 얼마나 잘 대표하는지 추가 검증이 필요하며, 향후 다국어·다양한 LLM 계열로의 확장 연구가 요구된다.

Evaluation

총평: perplexity 기반 탐지의 근본적 한계를 이론적으로 짚어내고 character 수준의 새로운 orthogonal 신호와 대규모 벤치마크를 함께 제시한 점에서 실용성과 학술적 기여도가 높은 연구이나, 정량적 성능 향상의 폭과 장기적 강건성에 대한 추가 검증이 뒷받침되면 더욱 완성도가 높아질 것이다.