The Illusion of Intent: Linear Probes as Sophisticated Keyword Counters in LLM Safety Detection

Motivation

• Known: 기존 연구들은 InjecAgent, AdvBench로 학습한 linear probe가 AgentDojo와 같은 held-out 데이터셋에서 AUROC 1.0에 가까운 cross-dataset 일반화를 달성한다고 보고했으며, 이를 LLM hidden state가 malicious intent에 대한 semantic한 내부 표현을 학습했다는 증거로 해석해왔다.
• Gap: 그러나 이러한 near-perfect한 성능이 실제로 semantic intent 인코딩에 기인하는지, 혹은 벤치마크에 공통적으로 등장하는 소수의 predictive lexical token에 의한 shortcut learning(표면적 artifact) 때문인지는 검증되지 않았으며, 기존 평가 프로토콜은 이를 구분할 수 있는 lexical control이나 contrastive test를 포함하지 않았다.
• Why: LLM 기반 agentic 시스템의 안전성 게이트키퍼로 linear probe가 실제 배포에 사용되고 있는 상황에서, probe가 진짜 intent를 이해하는지 단순 keyword counter인지의 구분은 곧 실제 공격자가 표면 어휘만 바꿔도 탐지를 우회할 수 있는지를 결정하는 근본적인 안전성 문제이다.
• Approach: 저자들은 (1) top-50 predictive lexical token을 redaction하는 lexical ablation을 통해 probe의 실패 모드를 규명하는 진단적 분석과, (2) 이 실패로부터 동기 부여된 Contrastive Intent Probing(CIP)이라는 대응 방법론을 두 단계로 제시한다.

Achievement

Figure 2. Leave-one-layer-out ∆AUROC on Cahinted Thatures for three backbone models..

1. Cross-dataset 성능 재현: InjecAgent+AdvBench로 학습, AgentDojo로 평가 시 5개 LLM backbone(Llama-3.2-1B/3B, Mistral-7B-v0.3, Qwen2.5-1.5B 등) 모두에서 AUROC=1.0을 재현하여 기존 결과를 확인.
2. Lexical ablation을 통한 붕괴 입증: TF-IDF logistic regression으로 추출한 top-50 predictive token(ignore, bypass, system prompt, instruction, disregard 등)을 redaction한 후 재학습·평가한 결과, 모든 backbone에서 AUROC가 1.0에서 0.10 미만으로 붕괴하며 일부는 random chance보다도 낮은 anti-correlated한 수준을 보임.
3. Leave-one-layer-out 분석: 특정 layer 제거 시 AUROC 변화(∆AUROC)를 측정하여 safety 관련 신호가 특정 layer에 집중되어 있는지 진단.
4. Contrastive paired 데이터셋 구축: 동일 어휘·문법 구조를 공유하되 intent만 다른 benign/malicious 1,120개 프롬프트 쌍(560/560)을 새로 구성하여 기존 프로빙 방식의 취약점을 노출.
5. CIP 제안 및 예비 검증: 표준 probe가 same-vocabulary contrastive 쌍에서 AUROC 0.566에 그치는 반면, contrastive supervision과 margin loss로 학습된 CIP(2-layer MLP)는 AUROC 0.721로 개선됨을 pilot study로 확인.

How

• InjecAgent(2,108개 prompt-injection), AdvBench(520개 harmful instruction), AgentDojo(200개, held-out test 전용)를 사용
• 6개 backbone(LLAMA-3.2-1B/3B, LLAMA-3.1-8B, MISTRAL-7B-V0.3, QWEN2.5-1.5B, TINYLLAMA-1.1B)에서 5개 균등 분포 layer(layer 0 및 최종 layer 포함)의 last-token hidden state를 추출·concat하여 feature vector 구성
• L2 정규화(λ=10⁻⁴) logistic regression(Adam, 300 epoch)을 기본 linear probe로 사용, ablation 및 CIP 실험에는 hidden dim 256, GELU, dropout 0.3의 2-layer MLP도 병행 평가
• TF-IDF logistic regression으로 top-50 predictive token을 식별해 train/test 양쪽에서 redaction한 InjecAgent-ablated 데이터셋 생성 후 재학습·재평가
• leave-one-layer-out 방식으로 layer별 기여도(∆AUROC) 측정하는 player-wise 분석 수행
• benign/malicious가 동일 어휘·문법을 공유하는 1,120개 paired contrastive dataset을 별도 구축
• CIP는 paired dataset D={(x+_i, x−_i)}에 대해 각 hidden state h+_i, h−_i를 추출하고, L = L_BCE(f_θ(h+_i),1) + L_BCE(f_θ(h−_i),0) + λ‖h+_i − h−_i‖² 형태의 contrastive margin loss로 non-linear(2-layer MLP) probe f_θ를 학습

Originality

• 기존 연구들이 linear probe의 near-perfect cross-dataset AUROC를 semantic intent 인코딩의 증거로 해석해온 것에 대해, lexical ablation이라는 간단하지만 강력한 반증 실험으로 Clever Hans 가설을 정면으로 검증
• 표준 벤치마크의 vocabulary overlap 문제를 지적하기 위해 동일 어휘·문법을 공유하되 intent만 다른 controlled contrastive paired dataset을 직접 구축한 점
• 실패 분석(negative result)을 그 자체로 끝내지 않고, 이를 활용한 대응 방법론(CIP)의 설계 동기로 연결하는 연구 구조
• leave-one-layer-out을 통한 layer별 기여도 분석으로 안전 관련 표현이 특정 layer에 국한되는지 진단하는 접근

Limitation & Further Study

• CIP는 "preliminary pilot study"로 명시된 예비 실험이며, AUROC 0.721 역시 여전히 실용적 배포에는 부족한 수준으로 완전한 해결책이라 보기 어려움
• 1,120개 규모의 paired dataset은 상대적으로 작고 특정 유형의 어휘 대응 방식(공유 vocabulary/구조)에 한정되어 다양한 공격 유형에 대한 일반화 가능성이 제한적일 수 있음
• top-50 predictive token 제거라는 다소 heuristic한 ablation 기준이 실제 semantic feature까지 함께 제거했을 가능성(false negative artifact)에 대한 통제가 불충분
• 향후 연구로 더 큰 규모의 contrastive 데이터셋 구축, CIP의 다양한 backbone·공격 유형에 대한 일반화 검증, 그리고 semantic feature와 lexical artifact를 명확히 분리하는 정교한 attribution 기법 개발이 필요

Evaluation

총평: LLM safety probing 분야에서 당연시되던 near-perfect 성능 해석에 대해 간결하고 설득력 있는 반증을 제시한 점에서 가치 있는 workshop 논문이나, 제안된 해결책(CIP)이 아직 예비 단계에 머물러 있어 후속 검증이 필요하다.