Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions

Motivation

• Known: Sybil은 단일 CT 스캔만으로 6년 폐암 위험을 예측하는 딥러닝 모델로, 다양한 코호트에서 retrospective/prospective validation을 통해 임상적 유효성이 입증되어 있다. 기존 XAI 기법들은 SHAP, saliency map, attention 기반 설명 등 관찰적·상관관계 기반 metric에 의존해왔다.
• Gap: 현재 Sybil을 비롯한 모델 평가는 순수하게 observational metric에만 의존하여, 모델이 실제로 어떤 근거로 예측하는지, 언제 실패하는지에 대한 인과적 검증이 부재하다. 기존 attribution 방법들은 특징 중요도(feature importance)와 특징 간 상호작용(interaction)을 동시에 포착하면서도 data manifold를 벗어나지 않는 설명을 제공하지 못하는 trade-off를 가진다.
• Why: 고위험 임상 배포 전에 딥러닝 기반 스크리닝 도구의 실제 추론 메커니즘을 검증하는 것은 모델의 안전성과 신뢰성을 보장하는 데 필수적이며, 특히 위양성 편향이나 spurious artifact에 대한 민감도를 발견하지 못하면 임상적으로 위험한 오진으로 이어질 수 있다.
• Approach: Shapley 기반 game-theoretic attribution과 3D diffusion bridge 생성 모델링, 방사선 전문의의 검증을 결합하여 Sybil에 대한 최초의 interventional audit을 수행한다.

Achievement

1. diffusion bridge 기반 결절 개입 기법 개발: 3D LDCT 상에서 폐결절을 제거하거나 삽입하는 새로운 synthetic intervention 방법론을 제시했다.
2. SHNAP과 SNAP 제안: 폐암 위험 예측에 특화된 개입 기반 attribution 방법 두 가지(결절 제거를 통한 기여도 분해 SHNAP, 결절 삽입을 통한 공간적 민감도 탐지 SNAP)를 구성했다.
3. Sybil의 선형 근사 가능성 검증: Sybil이 결절에 대해 pairwise interaction을 포함하는 linear model(LMPI)로 효과적으로 근사됨을 실증적으로 확인했다.
4. critical failure mode 발견: 임상적으로 정당화되지 않는 인공음영(artifact)에 대한 위험한 민감도와 뚜렷한 radial bias 등 모델의 misalignment를 규명했다.

How

• Sybil의 base risk logit을 대상으로 n-Shapley Values(nSV, n=2)를 이용해 개입 기반(interventional) value function을 정의하고, 이를 통해 결절 단위의 main effect와 pairwise interaction을 추정
• System-Embedded Diffusion Bridges(SDB)를 활용한 3D diffusion bridge 모델링으로 CT 영상 내 특정 영역(결절)만을 인페인팅 방식으로 수정, 나머지 영역은 그대로 보존
• SHNAP: 실제 결절을 건강한 조직으로 대체(제거)하여 개별 결절 기여도와 결절 간 상호작용을 분해
• SNAP: 알려진 악성도를 가진 결절을 체계적으로 삽입하여 위치에 따른 volumetric sensitivity와 공간적 편향(spatial bias)을 탐지
• 방사선 전문의를 대상으로 한 expert study를 통해 생성된 개입 영상의 realism을 검증
• LMPI 근사의 적합도를 unweighted local fidelity(R²) 지표로 정량 평가

Originality

• 관찰적(observational) 검증에서 인과적(interventional) 검증으로 패러다임을 전환한 최초의 Sybil 감사(auditing) 연구
• game-theoretic attribution(SHAP/nSV)과 diffusion bridge 기반 생성 모델링을 결합하여 데이터 매니폴드를 벗어나지 않으면서 feature importance와 interaction을 동시에 포착하는 새로운 attribution 프레임워크(S(H)NAP) 제안
• 모델을 LMPI(선형+쌍별 상호작용 모델)로 근사한다는 가설을 세우고 이를 실증적으로 검증하는 접근이 참신함
• 실제 방사선 전문의의 정성적 검증을 결합해 생성된 개입 영상의 임상적 타당성을 확보

Limitation & Further Study

• 분석이 폐결절이라는 단일 유형의 해부학적 특징에 국한되어 있어, Sybil이 참조할 수 있는 다른 잠재적 특징(예: 폐 전체 구조, 흉막 변화 등)에 대한 인과적 분석은 다루지 않음
• LMPI 근사가 n=2(pairwise interaction)까지만 고려하므로, 더 고차원적인 상호작용이 존재할 경우 근사 오차가 발생할 수 있음
• diffusion bridge 기반 생성 개입의 realism이 완벽하지 않을 경우 attribution 결과에 편향이 유입될 가능성이 있으며, 이에 대한 정량적 불확실성 평가가 제한적일 수 있음
• 후속 연구로 다른 모델(모델-무관성 주장의 실질적 검증)이나 다른 질병 예측 태스크로의 일반화, 발견된 radial bias 및 artifact sensitivity에 대한 원인 규명 및 완화 방안 연구가 필요

Evaluation

총평: 임상에 실제 배포되는 고위험 AI 모델에 대해 인과적 감사라는 새로운 관점을 제시하고, 이를 정교한 생성 모델링 기법으로 실현한 뛰어난 연구로, Sybil의 숨겨진 위험한 실패 모드를 발견했다는 점에서 실질적 임상적 함의가 크다.