Auditing LLM Jailbreak Detectors as Hypothesis Tests: Permutation P-values and Type-I Error Control via Paraphrase Exchangeability

Motivation

• Known: Granite Guardian, WildGuard, OpenAI Moderation, ShieldGemma, Llama Guard 4 등 LLM safety classifier들은 XSTest, OR-Bench 같은 벤치마크로 accuracy와 AUC를 보고하며 heuristic threshold로 배포되고, paraphrase에 따라 판정이 달라지는 민감성이 descriptive하게 보고된 바 있다.
• Gap: operationally 이 분류기들은 hypothesis test처럼 사용되지만 어떤 vendor도 finite-sample Type-I 보장을 갖는 threshold를 제공하지 않으며, calibration 문제를 hypothesis-testing 문제로 정식화하여 finite-sample validity를 보장한 선행연구가 없다.
• Why: production에서 수백만 건의 쿼리를 매일 게이트하는 안전 분류기가 이론적 근거 없는 임계값으로 benign 쿼리를 과도하게 차단(safety tax)하거나 실제 jailbreak을 놓치는 문제는 사용자 경험과 안전성 모두에 직결되므로, 통계적으로 엄밀한 감사와 보정 방법이 실무적으로 중요하다.
• Approach: benign 프롬프트의 paraphrase들이 서로 교환 가능(exchangeable)하다는 자연스러운 대칭성을 가정하여, 분류기 점수에 대한 permutation test의 rank p-value를 정의하고 이를 split-conformal calibration과 결합해 어떤 black-box 분류기에도 적용 가능한 finite-sample-exact per-prompt 임계값 규칙(PCC)을 구성한다.

Achievement

Figure 3. Default vs. PCC detection per classifier (harmful split,

1. 경험적 감사(empirical audit): XSTest와 OR-Bench-Hard에서 추출한 150개 benign anchor에 대해 5개 벤더의 production 분류기를 감사한 결과, default threshold가 benign paraphrase를 5–92% 비율로 거부하며 rank p-value 분포가 grid 상에서 뚜렷하게 non-uniform(KS distance 0.13–0.28, bootstrap 95% CI가 모두 0보다 큼)함을 최초로 통계적으로 엄밀하게 정량화했다.
2. 가설검정 프레이밍: 운영상의 threshold 결정을 benign-paraphrase exchangeability 가정 하의 permutation hypothesis test로 재구성하여, 어떤 black-box 안전 분류기에 대해서도 finite-sample-valid p-value를 도출하는 classical rank argument를 적용했다(Proposition 2.2).
3. PCC 제안 및 효과 검증: Paraphrase-Conformal Calibration이 exact finite-sample Type-I control(Proposition 3.1)을 제공함을 증명하고, α*≈0.091에서 benign FPR을 11–23%로 감소(최대 7.7배)시키며, JailbreakBench 기준 탐지율을 36–100%에서 10–42%로 낮췄다. 5개 중 4개 분류기가 10–14%의 structural floor 근처로 수렴한 반면 Llama Guard 4는 42%를 유지하여, Llama Guard 3·NemoGuard와 함께 Llama 계열의 특징적 패턴을 확인함으로써 PCC가 paraphrase-invariance 학습 여부를 구분하는 진단 도구로도 기능함을 보였다.

How

Figure 2. Paraphrase-rank p-value distributions on 150 benign anchors per body classifier. Under benign-paraphrase excha

• Permutation test 구성: anchor x0와 K개의 paraphrase로부터 얻은 (K+1)개 점수 벡터의 exchangeability(Assumption 2.1)를 가정하여, descending rank 기반 paraphrase-rank p-value를 정의(Eq. 1)하고 이의 finite-sample 유효성(Proposition 2.2)을 증명.
• PCC 알고리즘: paraphrase 점수의 order statistic으로부터 per-prompt threshold τα(x0) = S(⌈(1-α)(K+1)⌉)를 계산(Algorithm 1)하고, 이것이 rank p-value 기반 test와 동치임을 보여 exact Type-I control(Proposition 3.1)을 확립.
• Split-conformal 변형: 여러 anchor의 paraphrase 점수를 pooling하여 global threshold를 산출하는 배포 친화적 변형을 제시, marginal coverage를 제공.
• 실험 설계: GPT-4o-mini로 anchor당 K=10개 paraphrase 생성, XSTest(100개)와 OR-Bench-Hard(50개)에서 총 150개 benign anchor 구성, 5개 vendor 분류기(Granite Guardian, WildGuard, OpenAI Moderation, ShieldGemma, Llama Guard 4)에서 unsafety score를 추출하여 default threshold와 PCC 결과를 비교하고, JailbreakBench로 검출력(power)을 측정, Appendix G에서 Llama Guard 3·NemoGuard·Prompt Guard 2까지 확장 감사.

Originality

• LLM jailbreak/safety 분류기의 임계값 문제를 최초로 formal hypothesis testing 문제로 정식화하고, benign-paraphrase exchangeability라는 최소한의 가정만으로 finite-sample-exact Type-I 보장을 이끌어낸 점이 독창적이다.
• 기존 permutation test 이론과 split-conformal prediction을 결합해 어떤 black-box 분류기에도 적용 가능한 model-agnostic 보정 방법(PCC)을 제안한 것은 방법론적으로는 기존 도구의 조합이지만, 이를 실제 production LLM safety 분류기 감사라는 새로운 응용 영역에 적용한 점에서 실용적 독창성이 크다.
• PCC를 단순 보정 도구를 넘어 Llama 계열 모델의 paraphrase-invariance 학습 여부를 드러내는 진단(diagnostic) 도구로 재해석한 점도 흥미로운 부가 기여다.

Limitation & Further Study

• exchangeability 가정(Assumption 2.1)은 paraphraser(GPT-4o-mini)의 품질과 paraphrase-equivalence class 정의에 의존하는데, paraphraser 자체의 편향이나 의미 왜곡이 실제 교환 가능성을 깨뜨릴 가능성에 대한 심층 분석이 제한적이다.
• per-prompt PCC는 추론 시마다 K회의 classifier 호출이 필요해 실제 대규모 production 환경에서의 지연/비용 부담이 크며, split-conformal 변형은 marginal coverage만 제공해 개별 anchor 수준의 보장이 약화된다.
• 저자가 스스로 명시했듯 방법론적 기여는 기존 permutation test와 conformal prediction 이론의 적용이며 새로운 통계 이론을 제시하지는 않아, 이론적 novelty보다는 응용·감사(audit) 측면의 기여가 중심이다.
• 150개의 benign anchor와 두 개 데이터셋(XSTest, OR-Bench-Hard)에 한정된 감사로, 더 다양한 도메인·언어·공격 유형에 대한 일반화 가능성은 추후 검증이 필요하다.

Evaluation

총평: 기존 통계 이론(permutation test, conformal prediction)을 새로운 실용적 문제(LLM 안전 분류기 감사 및 보정)에 명확하고 엄밀하게 적용한 훌륭한 응용 연구로, 이론적 새로움은 제한적이지만 production 안전 시스템에 즉시 적용 가능한 실질적 가치와 진단적 통찰을 제공한다.