What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?

Motivation

• Known: 기존 연구는 many-shot jailbreaking(Anil et al., 2024)을 통해 harmful question-answer demonstration을 다수 제공하면 aligned model의 harmful compliance가 증가함을 보였고, ICL에 대한 mechanistic/Bayesian 이론들(Xie et al., Hendel et al., Bigelow et al.)은 context가 latent concept 혹은 task representation에 대한 증거로 작용한다고 설명한다.
• Gap: 기존 jailbreak 연구는 주로 all-harmful demonstration만을 다루고, ICL/steering 연구는 일반적인 task learning이나 persona 유도에 초점을 맞추어, benign compliance demonstration과 harmful compliance demonstration이 혼합된 상황에서 모델이 이를 상호교환 가능한 증거로 취급하는지, harmful demonstration에만 반응하는지, 아니면 더 복잡하게 결합하는지는 규명되지 않았다.
• Why: demonstration-based jailbreaking이 "작동한다"는 사실을 넘어 "어떻게" 작동하는지를 규명하는 것은, 실제 배포 환경에서 safety-aligned LLM이 어떤 종류의 in-context 증거에 취약한지, 그리고 어떤 training methodology(SFT vs DPO)가 이러한 취약성을 완화하는지를 이해하는 데 중요하며, 이는 향후 안전한 alignment 기법 설계에 직접적인 함의를 가진다.
• Approach: benign compliance demonstration과 harmful compliance demonstration의 개수(Nb, Nh)를 통제한 mixed-demonstration context를 구성하여, 어떤 통계량(총 개수, harmful 개수, 또는 joint 조합)이 harmful query에 대한 compliance 확률을 가장 잘 예측하는지 hypothesis-testing 프레임워크로 검증한다.

Achievement

Figure 4. Impact of varying benign compliance demonstra-

1. Benign/harmful demonstration의 비상호교환성 입증: 네 개 모델(Llama-3.1-8B, OLMo-3.1-32B-Instruct, Gemma-4-31B-IT, GPT-OSS-20B) 모두에서 total-count hypothesis를 기각하였으며, benign demonstration의 효과가 모델마다 dilution(Llama, Gemma), 무효과(OLMo), amplification(GPT-OSS)로 상이함을 보였다.
2. Preference optimization의 역할 규명: OLMo-3.1-32B의 학습 단계별 checkpoint 비교를 통해 SFT 단계에서는 benign demonstration이 harmful compliance를 증가시키는 amplification 효과가 나타나지만, DPO 단계를 거치면 이 효과가 완전히 사라짐을 확인하였다.
3. Compliance와 format adoption의 분리 발견: 고정된 prefix string을 demonstration 응답에 삽입하여 format adoption과 compliance를 독립적으로 측정한 결과, 일부 모델은 거절하면서도 demonstrated format을 그대로 채택하는 반면 다른 모델은 거절 시 모든 in-context 신호를 무시함을 보여, 모델별로 질적으로 다른 refusal mechanism이 존재함을 밝혔다.

How

Figure 4. Impact of varying benign compliance demonstra-

• harmful fraction ϕ = Nh/N을 변화시키며 각 모델의 compliance rate를 측정 (Figure 2)
• 고정된 Nh에 대해 benign demonstration 개수 Nb를 변화시켜 compliance rate 변화를 관찰 (Figure 3)
• OLMo-3.1-32B의 SFT, DPO 등 서로 다른 training stage checkpoint를 비교하여 benign demonstration의 영향이 어느 단계에서 사라지는지 분석 (Figure 4)
• benign과 harmful demonstration 32개의 순서(ordering)를 다양하게 배치하여 recency bias 등 순서 효과를 검증 (Figure 5)
• demonstration 응답에 고정 prefix string을 삽입하여 format adoption과 실제 compliance를 별도로 측정, 모델별 refusal mechanism의 차이를 분석

Originality

• 기존 jailbreak 공격 성능 향상에 초점을 맞춘 연구들과 달리, mixed-demonstration context를 분석 도구로 삼아 "어떤 종류의 compliant evidence가 전이되는가"라는 메커니즘적 질문을 다룬 점이 독창적이다.
• 세 가지 경쟁 가설(total-count, harmful-count, joint-count)을 명시적으로 정식화하고 hypothesis-testing 형태로 검증하는 방법론적 프레임을 제시하였다.
• compliance와 format adoption을 분리하여 측정함으로써 refusal이 in-context learning과 상호작용하는 방식이 모델마다 질적으로 다르다는 새로운 관찰을 제공하였다.
• 학습 파이프라인 단계(SFT vs DPO)와 demonstration 취약성의 인과관계를 checkpoint 비교를 통해 규명한 점이 참신하다.

Limitation & Further Study

• 실험 대상 모델이 4개로 제한적이며, 모델 아키텍처나 규모에 따른 일반화 가능성에 대한 추가 검증이 필요하다.
• 학습 단계 비교가 OLMo-3.1-32B 한 모델 계열에서만 이루어져, preference optimization의 효과가 다른 모델 계열에서도 동일하게 성립하는지는 불명확하다.
• benign/harmful demonstration의 구체적 내용(주제, 난이도)에 따른 세부적 semantic 요인이 compliance에 미치는 영향은 충분히 분석되지 않았을 가능성이 있다.
• 후속 연구로는 더 많은 모델 계열과 다양한 preference optimization 기법(RLHF, DPO 변형 등)에 대한 비교, 그리고 refusal mechanism의 mechanistic interpretability 분석(예: induction head 분석)과의 결합이 필요하다.

Evaluation

총평: demonstration-based jailbreaking의 "작동 여부"를 넘어 "작동 방식"을 규명하려는 시도로서 방법론적으로 명확하고 실용적 함의가 큰 연구이나, 모델 수와 학습 단계 비교 범위가 제한적이어서 일반화 가능성에 대한 추가 검증이 필요하다.