Black-Box Detection of LLM-Generated Text Using Generalized Jensen Shannon Divergence

Motivation

• Known: 기존 LLM 생성 텍스트 탐지는 classifier-based 방법과 statistics-based 방법(global statistics 및 perturbation/regeneration 기반 distributional statistics)으로 나뉘며, DetectGPT, Fast-DetectGPT, DNA-GPT, Lastde++ 등이 대표적이다.
• Gap: classifier-based 방법은 도메인/생성기 변화 시 재학습이 필요해 비용이 크고, perturbation 기반 distributional 방법은 테스트 입력마다 costly한 재생성(regeneration)을 요구하며, global-statistic 방법은 black-box 환경에서 proxy LM이 실제 source model과 불일치할 때 calibration drift에 취약하다.
• Why: 재학습이나 per-instance 생성 없이, 한 번만 구축한 고정 참조(reference)를 재사용하여 대규모·다도메인·다생성기 환경에서 안정적이고 실용적인 탐지가 가능한 방법이 필요하기 때문에 중요하다.
• Approach: 토큰 surprisal의 동역학(dynamics)을 해석 가능한 이산 상태로 요약하고, 이 상태 전이 패턴을 human/machine 참조와 비교하는 likelihood-free hypothesis testing 프레임워크를 제안한다.

Achievement

Figure 2. (a) The ’Recovery’ Phenomenon. Visualization of the key feature driving our detector by comparing the conditio

1. SurpMark 제안: proxy LM 불일치와 per-instance 생성 비용 문제를 동시에 해결하는 reference-based, single-pass 텍스트 탐지기를 제시했다.
2. 이론적 분석: discretization bin 수가 데이터 양에 따라 어떻게 스케일링되어야 하는지에 대한 설계 지침을 도출하고, GJS 기반 test statistic의 타당성을 이론적으로 정당화했다.
3. 광범위한 실험적 검증: 여러 데이터셋, source model, 시나리오에서 SurpMark가 기존 baseline과 동등하거나 이를 능가하며, 도메인과 생성기 전반에 걸쳐 강한 robustness를 보임을 입증했다.
4. 하이퍼파라미터 민감도 분석: 실험적으로 관찰된 경향이 이론적 결과로 설명 가능함을 보였다.

How

Figure 1. SurpMark framework. Offline, we build human/machine reference transition matrices by scoring corpora with a pr

• proxy model Fθ로 테스트 텍스트 t를 tokenize하고 forward pass를 한 번 수행하여 토큰별 surprisal sequence {st}를 계산한다.
• k-means clustering을 이용해 연속적인 surprisal 값을 k개의 해석 가능한 이산 상태(A = {1,...,k}, 예: "Predictable", "Slightly Surprising" 등)로 discretize한다.
• 이산 상태 시퀀스를 1차 Markov chain으로 모델링하고, 경험적 state-transition matrix M̂(j|i)을 추정한다 (수식 (1)).
• human corpus와 machine corpus로부터 offline으로 한 번 human/machine 참조 transition matrix(M_human, M_machine)를 동일한 shared quantizer qk를 이용해 구축한다.
• 테스트 텍스트의 transition matrix M_test와 두 참조 사이의 generalized Jensen-Shannon(GJS) divergence를 각각 계산하고, 그 차이(ΔGJS = GJS(M_machine, M_test) − GJS(M_human, M_test))를 최종 점수로 사용해 human/machine 여부를 판별한다.
• 이론적으로, 이상화된 Markov 모델 하에서 discretization이 GJS 추정에 미치는 영향을 분석하고 bin scaling 지침을 도출한다.

Originality

• perturbation/regeneration 기반 distributional-statistic 방법과 달리 costly한 per-instance 재생성 없이 single forward pass만으로 텍스트를 요약한다.
• global-statistic 방법과 달리 human과 machine 두 참조 corpus를 모두 활용하는 비교(comparative) 분석을 수행한다.
• 토큰 surprisal을 절대적 likelihood 값이 아닌 해석 가능한 이산 상태와 그 전이 동역학(state-transition dynamics)으로 요약하여, "recovery" 현상 같은 LLM 특유의 국소 패턴을 포착한다.
• R-Detect와 같은 kernel 기반 relative test와 유사한 철학을 공유하되, kernel parameter 최적화 대신 가벼운 discretization만 요구해 계산 비용이 낮다.
• discretization bin의 데이터 대비 스케일링에 대한 이론적 설계 지침을 제공하여 test statistic의 원리적 정당성을 확보했다.

Limitation & Further Study

• proxy LM과 실제 source model 간 불일치가 클 경우 surprisal 추정 품질이 여전히 영향을 받을 가능성이 있으며, 이 영향의 정량적 한계에 대한 논의가 제한적이다.
• 1차 Markov chain 가정에 기반하므로, higher-order 의존성은 state-space explosion과 sparse transition 문제로 인해 반영되지 못하며(Figure 2(b) 참고), 실제로 이 논문에서도 higher order에서 뚜렷한 성능 향상이 없음을 보고한다.
• k-means 기반 discretization과 bin 수(k) 선택이 성능에 영향을 미치므로, 새로운 도메인이나 생성기에 대한 최적 하이퍼파라미터 선정에 대한 추가 연구가 필요하다.
• human/machine reference corpus의 대표성과 크기에 따른 성능 편향 가능성에 대한 심층 분석이 부족하다.

Evaluation

총평: 이론적 근거와 실용적 효율성을 겸비한 참신한 black-box 텍스트 탐지 프레임워크로, per-instance 재생성 없이도 강건한 성능을 보여 실제 배포 관점에서 의미 있는 기여를 한다.