SICD: Measuring Semantic Surrender and Epistemic Resistance Under Biomedical Interference

Motivation

• Known: Chain-of-thought prompting은 중간 추론 과정을 가시화하지만, 이 가시적 추론이 항상 충실하거나 의학적으로 안전한 것은 아니며, sycophancy 연구에서는 모델이 잘못된 전제라도 사용자가 제공한 전제에 순응할 수 있음이 알려져 있다.
• Gap: 기존 SelfCheckGPT, REFCHECKER, NLI 기반 일관성 체크는 개별 주장의 사실성이나 모순을 탐지하지만, 모델이 유창하고 내적으로 일관된 상태를 유지하면서도 잘못된 임상 도메인으로 서서히 표류(drift)하는 현상은 탐지하지 못한다는 한계가 있다.
• Why: 고위험 biomedical 상황에서 모델이 최종 답만이 아니라 추론 경로 자체가 잘못된 진단 프레임으로 포섭(domain capture)되는지 여부는 임상 안전성과 감사 가능성(auditability) 측면에서 매우 중요한 문제이다.
• Approach: SICD는 고위험도 임상 사례에 orthogonal한 interference 진단을 4단계 강도로 주입하고, 각 reasoning step에서 추출한 UMLS 개념을 target/interference 도메인으로 나누어 계산한 Split Density Ratio(SDR)로 모델의 semantic surrender와 epistemic resistance를 정량화한다.

Achievement

Figure 2. Collapse depth—SDR at full dissonance minus hard

1. Semantic surrender의 일관된 관측: 세 모델(GPT-4o-mini, Claude Haiku 4.5, Llama-3.3-70B) 모두, 세 가지 decoding temperature 전반에서 interference가 증가할수록 SDR이 유의하게 감소함(ρ∈[-0.35,-0.54], all p≤0.03)을 보였다.
2. 모델 간 collapse 깊이의 차이 발견: 최고 강도 interference(Full Dissonance)에서 GPT-4o-mini와 Llama-3.3-70B는 SDR이 각각 -0.12, -0.16 급락하는 반면, Claude Haiku 4.5는 -0.03만 하락하며(p<0.05) 세 모델 중 가장 높은 target-domain density를 유지했다.
3. Epistemic resistance 개념 정의: interference에 대한 완전한 면역이 아니라 최대 압박 상황에서도 증거를 포기하지 않는 경향을 epistemic resistance로 정의하고, Haiku가 거짓 전제를 명시적으로 거부하는 행동으로 이를 뒷받침했다.
4. SDR의 우수성 입증: raw density나 specificity와 달리 SDR이 방향성을 가지므로, 개념적으로 풍부하지만 잘못된 진단을 향한 추론과 임상적으로 정렬된 추론을 구분할 수 있음을 보였다.

How

Figure 3. Temperature ablation showing mean Split Density Ratio (SDR) across interference levels for Claude Haiku 4.5, G

• 10개의 고위험 MedQA 스타일 임상 사례(폐색전증, 당뇨병성 케톤산증, STEMI, 세균성 수막염 등)를 구성하고 각각에 orthogonal한 interference 진단(예: 폐색전증→하시모토 갑상선염)을 매칭
• 4단계 interference level 정의: Level 0(Control, 개입 없음), Level 1(Soft, interference 도메인 고려 요청), Level 2(Hard, 매 추론 단계를 interference 메커니즘으로 구조화 요구), Level 3(Full Dissonance, 사례 증거와 모순되는 interference 진단이 실제라고 설명하도록 지시)
• 모델당 10 사례 × 4 레벨 = 40개 chain, 3개 temperature(0.4, 0.7, 0.9) × 3개 모델(Claude Haiku 4.5, GPT-4o-mini, Llama-3.3-70B-Instruct) = 총 360개 chain 생성
• 각 reasoning step에서 UMLS 로컬 스냅샷을 이용해 biomedical 개념을 추출·검증하고 target-domain/interference-domain으로 분류하여 Rsplit = |Ctarget| / (|Ctarget| + |Cinterference|)로 SDR 계산
• 각 (model, temperature) 셀 내 40개 chain에 대해 Spearman correlation으로 interference level과 SDR 간 관계를 분석

Originality

• UMLS 기반 개념을 target/interference 도메인으로 명시적으로 분리하여 방향성 있는 semantic allegiance 지표(SDR)를 제안한 점이 기존의 단순 density/specificity 지표와 차별화됨
• 4단계 ordinal interference level을 설계하여 semantic pressure의 강도를 체계적으로 조작 가능하게 만든 controlled adversarial stress test 프레임워크
• "semantic surrender"와 "epistemic resistance"라는 개념을 정의하여 sycophancy 연구를 biomedical reasoning trajectory 분석으로 확장
• 세 모델·세 temperature 전 조합에서 동일 사례·프롬프트·채점 기준을 적용해 confound 없는 비교 가능한 벤치마크 설계

Limitation & Further Study

• 벤치마크가 단 10개 사례로 구성되어 있어 일반화 가능성이 제한적이며, 더 다양한 질병군과 interference 유형에 대한 검증이 필요함
• 평가 대상 모델이 3개(GPT-4o-mini, Claude Haiku 4.5, Llama-3.3-70B)로 제한되어 있어 다른 대형/소형 모델, 특히 reasoning 특화 모델에 대한 일반화가 필요함
• UMLS 개념 추출 및 도메인 할당 파이프라인의 오류율이나 정확도에 대한 상세한 검증(예: 사람 평가와의 일치도)이 본문 발췌에서 충분히 제시되지 않음
• SDR이 개념 밀도 기반 지표이므로, 실제 임상적 위해도나 최종 진단 정확도와의 상관관계에 대한 추가 분석이 필요함
• 후속 연구로 더 많은 모델, 더 다양한 임상 도메인, 그리고 실제 임상의의 판단과의 대조 검증을 통해 SDR의 타당성을 강화할 필요가 있음

Evaluation

총평: biomedical reasoning의 domain capture 현상을 UMLS 기반 정량 지표로 측정하는 참신하고 실용적인 스트레스 테스트 프레임워크를 제안했으나, 벤치마크 규모(10개 사례)와 평가 모델 수가 제한적이어서 결과의 일반화를 위해 추가 검증이 필요하다.