Exploring Accurate and Transparent Domain Adaptation in Predictive Healthcare via Concept-Grounded Orthogonal Inference

Motivation

• Known: 기존 domain adaptation 기법들은 MMD, adversarial training, disentanglement 등을 통해 source-target 간 분포 차이를 줄여 예측 성능 저하를 완화해왔으며, 임상 예측에서도 병원 간 전이 학습과 분포 정렬 기법이 효과적임이 알려져 있다. 또한 post-hoc attribution(SHAP, LIME), attention score, sparse autoencoder(SAE) 기반 concept mapping(AutoCodeDL) 등이 예측 모델의 해석 가능성을 높이는 방법으로 연구되어 왔다.
• Gap: 기존 DA 방법들은 hidden representation 수준에서만 작동하는 black-box 방식이라 임상 현장에서 신뢰와 안전을 위한 투명성 요건을 충족하지 못하며, 특히 무엇이 domain-invariant로 보존되고 무엇이 domain-covariant로 제거되는지에 대한 설명이 부재하다. 또한 SAE를 DA에 적용할 경우 post hoc 방식으로 인한 편향된 설명과, invariant feature만 강조하고 제거된 covariate 신호를 설명하지 못하는 불완전성 문제가 존재한다.
• Why: 의료 AI의 신뢰성과 임상 채택을 위해서는 정확도뿐 아니라 도메인 적응 과정 자체의 투명성이 필수적이며, 어떤 의료 개념이 보존되고 어떤 개념이 도메인 특이적으로 제거되는지를 임상의가 감사·검증할 수 있어야 하기 때문에 이 연구는 안전하고 신뢰 가능한 임상 AI 배포에 중요한 의미를 가진다.
• Approach: SAE로 학습한 sparse latent 벡터를 기반으로 orthogonal inference module을 설계하여 patient representation을 label 예측에 기여하는 invariant 성분과 domain 특이적 covariant 성분으로 직교 분해하고, 각 성분에 별도의 supervision(라벨 예측 손실과 domain classification 손실)을 부여하여 학습한다.

Achievement

Figure 2. Clinical Concept Attribution via Sparse-Dimension Ablation. (a) We extract sparse concept activations for two

1. 성능과 투명성의 동시 확보: 두 개의 실제 EHR 데이터셋과 다양한 domain partition 설정에서 대부분의 feature alignment 기반 DA 베이스라인 대비 우수한 예측 성능을 보이면서도 인간이 이해 가능한 설명을 제공함을 입증하였다.
2. 개념 기반 설명 가능성: sparse latent dimension을 targeted ablation을 통해 의료 개념(질환군 등)에 매핑하고 각 개념이 라벨 예측 또는 도메인 특이적 변이 중 무엇을 주로 반영하는지 정량적으로 구분하는 방법을 제시하였다.
3. 이론적 정당화: 유도된 직교성(orthogonality)에 대한 이론적 근거를 제공하여, invariant/covariant 분해가 단순 경험적 설계가 아닌 원칙에 기반함을 보였다.

How

Figure 1. Overview of ExtraCare architecture for clinical domain adaptation problems. Inputs x, x′ are encoded by fϕ(·)

• Feature extractor $f_\phi(\cdot)$로 source/target 도메인 입력 $x, x'$를 인코딩하여 표현 $v, v'$를 얻고, feature alignment(MMD 등)를 통해 두 도메인 표현을 정렬한다.
• SAE $h_\theta(\cdot)$가 $v$를 sparse 벡터 $s$로 인코딩하고 dictionary metric $M=W_\theta^\top W_\theta$를 유도하여 latent 차원과 의료 개념 간 매핑을 형성한다.
• Orthogonal inference module이 patient representation을 label 정보(invariant)와 domain covariate(잔차 $z$)로 분해하고, 각각 label prediction head $p_\zeta(\cdot)$와 domain classifier $d_\omega(\cdot)$로 별도 supervision을 가하며 두 성분 간 직교성을 강제하는 손실을 부과한다.
• 학습 후, sparse activation dimension을 하나씩 ablation하여 모델 출력 변화를 관찰함으로써 각 non-zero 차원을 특정 의료 개념에 귀속시키고, 그 개념이 라벨 예측을 주로 유도하는지 도메인 특이적 변이를 반영하는지 구분한다.

Originality

• Domain adaptation 문제에 SAE 기반 sparse 개념 매핑을 결합하여, 기존에는 별개로 다뤄지던 해석 가능성과 도메인 적응을 하나의 프레임워크로 통합한 점.
• 단순 invariant feature 추출에 그치지 않고 domain-covariant 성분까지 명시적으로 supervise하고 직교성을 부여함으로써, "무엇이 제거되었는가"까지 설명 가능하게 한 점.
• ablation 기반 targeted concept attribution을 통해 post-hoc 설명의 편향 문제를 완화하고, 학습 목적과 재구성(reconstruction)을 결합해 설명의 신뢰도를 높인 점.

Limitation & Further Study

• 두 개의 EHR 데이터셋에 국한된 평가로, 다양한 임상 환경(예: 다른 질환군, 다른 의료 시스템)에 대한 일반화 가능성은 추가 검증이 필요하다.
• SAE 기반 sparse 개념 매핑이 실제 임상의의 판단과 얼마나 일치하는지에 대한 정량적/정성적 임상 검증(예: 전문가 평가)이 제한적일 수 있다.
• Orthogonality 제약이 이론적으로 정당화되었으나, 실제 복잡한 임상 데이터에서 invariant/covariant 성분이 완벽히 선형적으로 분리 가능하다는 가정의 현실성에 대한 논의가 더 필요하다.
• 후속 연구로는 다기관(multi-center), 다중 도메인(multi-domain) 시나리오로의 확장과, 실제 임상의의 사용성 평가(user study)를 통한 투명성 검증이 필요하다.

Evaluation

총평: 해석 가능성과 도메인 적응 성능을 동시에 추구하는 실용적이고 임상적으로 의미 있는 연구로, SAE 기반 개념 접지(concept grounding)와 직교 추론(orthogonal inference)의 결합이 참신하며 실험적으로도 우수한 성과를 보인다.