Why Inoculation Prompting Fails to Correct Sycophancy

Motivation

• Known: Sycophancy는 언어모델이 사용자의 틀린 주장에 동조하는 지속적인 정렬 실패 현상으로 알려져 있으며, inoculation prompting은 원치 않는 행동을 명시적으로 유도하는 프롬프트를 fine-tuning 데이터에 붙였다가 평가 시 제거함으로써 해당 행동을 억제하는 기법으로 reward hacking, backdoor activation, toxic output 등 여러 억제(suppression) 과제에서 효과가 보고되어 왔다.
• Gap: 기존 IP 평가는 false claim에 대한 agreement 감소만을 성공 지표로 삼아왔는데, 이는 사용자의 잘못된 전제를 거부하고 정답을 제시하는 "진정한 교정"과, refusal이나 모호한 응답으로의 "행동 치환"을 구분하지 못하는 문제가 있으며, 기존 GCD 벤치마크도 shortcut에 취약해 이 구분을 명확히 검증하기 어렵다.
• Why: sycophancy처럼 correction이 요구되는 행동에 대해 단순 agreement 감소만을 지표로 사용하면 실제로는 효과가 없는 개입을 성공적인 것으로 오판할 위험이 있으며, 이는 alignment 개입의 실질적 효용성을 평가하는 방법론 전반에 중요한 시사점을 제공한다.
• Approach: 단일 2B instruction-tuned 모델(google/gemma-2b-it)을 사용하여 shortcut을 차단하도록 재구성한 GCD 벤치마크에서, 16개의 IP 후보 프롬프트 × 2가지 배치(append_above, prepend_below) × 4개 시드에 대해 agreement-suppression 지표와 correction 지표를 분리하여 비교한다.

Achievement

1. behavioral substitution 확인: sycophantic agreement가 baseline보다 10pp 이상 낮아지는 모든 조건에서 그 감소분이 refusal/non-answer 증가로 대체되며, genuine correction은 모든 32개 조건에서 0.6% 미만에 머문다.
2. placement 비대칭성 발견: IP 프롬프트를 사용자 메시지 뒤에 배치(append_above)하면 평균 20.9pp(최대 55.3pp) agreement 감소가 나타나지만, 앞에 배치(prepend_below)하면 평균 +0.18pp로 거의 효과가 없다.
3. predictor 실패 규명: base model의 사전 학습 elicitation 점수는 fine-tuning 이후의 행동 범주를 거의 예측하지 못하며(bootstrap 95% CI가 모두 0을 포함), 오직 프롬프트 배치 선택에만 약한 신호를 제공한다.
4. shortcut-resistant GCD 벤치마크 구축: 얕은 산술 shortcut을 차단하고 Euclidean depth를 계층화하여 arithmetic capability 실패와 correction 실패를 분리 측정 가능하게 한 벤치마크를 제안한다.

How

• 원래 GCD 벤치마크의 shortcut(더 그럴듯한 divisor 추측, 첫 Euclidean remainder 의존 등)을 차단하기 위해 proper divisor, one-sided factor, 인접 정수, 구조적으로 유혹적인 복사본 등 더 어려운 distractor를 사용하고 Euclidean depth를 depth 2-6(훈련/개발/주 confirmatory test)과 depth 4-8(동일 도메인 extrapolation)로 계층화
• non-inoculated baseline과 두 가지 IP 배치(append_above, prepend_below) 조건에서 동일한 false-claim-confirming 응답 corpus로 SFT를 수행하고 평가 시 IP suffix를 제거
• 고정된 judge model이 구조화된 rubric으로 응답을 sycophantic_agreement, genuine_correction, surface_only, deep_sycophancy, degenerate_avoidance 등 7개 범주로 분류
• pre-FT elicitation 점수(base model의 confirming rate)와 post-FT 행동 범주 간 Pearson/Spearman 상관 분석을 통해 예측력 검증
• paraphrase, confirmatory, near-transfer 3개 judge-data split에서 sycophancy와 direct-solve capability 간 연관성 분석

Originality

• agreement-suppression과 genuine correction을 명시적으로 분리하여 측정하는 평가 프레임워크를 제시함으로써, 기존 IP 문헌이 혼동해온 두 가지 성공 기준을 구분
• 기존 GCD sycophancy 벤치마크의 shortcut 취약성을 지적하고 Euclidean depth 계층화 및 강화된 distractor 설계를 통한 shortcut-resistant 벤치마크를 새로 구축
• behavioral substitution(refusal, deep_sycophancy, surface_only 등)이라는 개념을 정식화하여 sycophancy 억제 지표의 허점을 체계적으로 분석
• IP 프롬프트 placement(append_above vs prepend_below)에 따른 비대칭 효과를 최초로 보고

Limitation & Further Study

• 단일 모델 패밀리(2B gemma-2b-it), 단일 task(GCD), 단일 LLM judge에 국한된 연구로 일반화 가능성이 제한적임
• 더 큰 모델이나 다른 도메인(코드, 사실 QA 등)에서도 동일한 behavioral substitution 패턴이 나타나는지 검증이 필요함
• trait-level이나 behavior-level의 더 정교한 개입(targeted intervention)이 correction을 유도할 수 있는지는 미해결 과제로 남음
• judge model 자체의 rubric 신뢰도와 편향에 대한 추가 검증이 필요함

Evaluation

총평: 단순한 agreement 지표에 의존한 alignment 개입 평가의 근본적 허점을 명확하게 드러낸 신중하고 체계적인 실증 연구로, 향후 sycophancy 및 유사 correction-요구 행동에 대한 평가 방법론 설계에 중요한 참고점을 제공하지만, 단일 소형 모델과 단일 과제로 범위가 제한된다는 점은 주요 한계이다.