Missingness-Aware Conformal Prediction Under Cross-Hospital Distribution Shift

Motivation

Known: Split CP는 exchangeability 하에서 marginal coverage를 보장하며, Mondrian CP나 weighted/non-exchangeable CP 등 조건부 coverage를 개선하는 다양한 완화 기법이 존재한다. 또한 임상 데이터에서 missingness가 정보성을 가지며 병원마다 다르게 나타난다는 점도 선행 연구에서 보고되었다.
Gap: 기존 연구는 missingness가 conformity score 분포에 영향을 준다는 것을 단일 calibration 분포 내에서만 다뤘고, cross-hospital 배포 시 missingness 이질성으로 인한 subgroup coverage gap을 pooled marginal coverage가 어떻게 은폐하는지, 그리고 이를 진단·완화하는 label-free하고 model-agnostic한 방법론은 제시하지 못했다.
Why: 임상 위험 예측 모델이 여러 병원에 배포될 때 marginal coverage만으로는 특정 subgroup(예: 저-missingness 환자군)에서 신뢰도가 크게 낮아질 수 있어, 환자 안전과 임상적 신뢰성에 직접적인 영향을 미치는 문제이기 때문에 중요하다.
Approach: calibration heterogeneity 항 η_k와 within-group shift 항 δ_k로 subgroup coverage gap을 유한 표본 분해하여 Mondrian conditioning이 언제 유효한지 이론적으로 규명하고, missingness mask만을 이용한 label-free 변수 선택 규칙으로 두 subgroup에 대해 별도로 calibration을 수행하는 방법을 제안한다.

Achievement

Figure 2. Max subgroup coverage gap on GOSSIS across three

Subgroup coverage gap 진단: GOSSIS에서 표준 CP가 90% marginal coverage를 달성하지만 저-missingness subgroup에서는 0.775의 coverage만 보임을 실증적으로 보여줌.
유한 표본 분해 이론: subgroup coverage error를 pooled-versus-group mismatch 항 η_k와 residual within-group shift 항 δ_k로 분해하고, η_k가 finite-sample grouping cost(1/(n_k+1) - 1/(n+1))를 초과할 때 Mondrian bound가 더 tight함을 증명.
Label-free 변수 선택 규칙 제안 및 검증: 모델·레이블에 의존하지 않고 missingness mask만으로 그룹을 정의하여, GOSSIS에서 최대 subgroup gap을 0.028–0.044에서 0.015–0.021로, MIMIC-IV에서 0.049–0.075에서 0.026–0.046으로 절반 가까이 감소시키면서 set size 변화는 1% 미만으로 유지.
Portability 및 안정성 입증: subgroup assignment가 모델 업데이트에 불변임을 이론적으로 증명하고, 배포 시점 stress test에서 optimization 기반 baseline보다 안정적임을 실증.

How

4-way hospital-disjoint split(training 60%, selection 10%, calibration 10%, test 20%)을 사용해 선택 단계가 calibration/test 결과에 overfitting 되지 않도록 설계.
Stage 1: missingness rate가 [10%, 90%] 범위인 변수들 중 selection set과 calibration set 간 missingness 분포 차이(dKS)가 가장 큰 변수 j*를 선택(label-free, model-free, test-blind).
Stage 2: j*의 관측/결측 여부로 정의된 두 subgroup 각각에 대해 Mondrian conformal calibration을 수행(샘플 수 부족 시 pooled threshold로 대체).
Stage 3: 테스트 시점에 해당 mask 기반 subgroup의 threshold를 사용해 prediction set 생성.
이론적으로 Theorem 3.4(subgroup coverage bounds), Lemma 3.5(mixture decomposition), Proposition 3.6(portability), Corollary 3.7(scoped benefit)을 증명하여 방법의 타당성을 뒷받침.
GOSSIS, MIMIC-IV 데이터 및 시뮬레이션, model-swap test, deployment-time stress test로 실증 검증.

Originality

Missingness를 두 번 활용하는 아이디어(먼저 score heterogeneity의 진단 도구로, 다음으로 Mondrian calibration을 위한 portable grouping variable로)가 독창적임.
Subgroup coverage gap을 calibration heterogeneity(η_k)와 within-group shift(δ_k)로 명확히 분해한 유한 표본 이론적 틀을 제시하여 언제 Mondrian conditioning이 도움이 되는지에 대한 정량적 기준(η_k > 1/(n_k+1) - 1/(n+1))을 제공.
Label-free, model-agnostic, test-blind한 변수 선택 규칙을 제안해 모델 업데이트에도 subgroup assignment가 불변(portability)함을 이론적으로 보장한 점이 기존 risk-based grouping 방법과 차별화됨.

Limitation & Further Study

모든 실험이 K=2(observed/missing 이진 그룹)로 제한되어 있으며, 더 세밀한 다중 그룹 분할에 대한 이론적·실증적 확장이 부족함.
선택된 변수 j*가 시드마다 달라진다는 점(10개 시드에서 5개의 서로 다른 변수)은 방법의 안정성에 대한 우려를 낳으며, 이 변동성의 근본 원인에 대한 심층 분석이 부족함.
GOSSIS와 MIMIC-IV라는 특정 ICU 데이터셋에 한정된 검증으로, 다른 임상 도메인이나 비-missingness 기반 shift 상황으로의 일반화 가능성은 추가 검증이 필요함.
δ_k(within-group deployment shift) 자체는 Mondrian conditioning으로 해결되지 않는다는 한계가 이론적으로 명시되어 있어, 이를 보완할 후속 방법론(예: shift-aware reweighting과의 결합) 연구가 필요함.

같이 보면 좋은 논문

A deep subgrouping framework for precision drug repurposing via emulating clinical trials on real-world patient data

기반 연구SPECTER2 유사도 0.91로 Statistical Causal Inference Methods와 Agentic AI for Scientific Automation가 맞닿아, 'A deep subgrouping framework for precision drug repurposing via emulating clinical trials on real-world patient data'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

REFORMS: Consensus-based Recommendations for Machine-learning-based Science

기반 연구SPECTER2 유사도 0.91 기준으로 'Missingness-Aware Conformal Prediction Under Cross-Hospital Distribution Shift'의 AI4S 방법론을 'REFORMS: Consensus-based Recommendations for Machine-learning-based Science'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.

Act or Defer: Error-Controlled Decision Policies for EHR Foundation Models

기반 연구missing data가 존재하는 상황에서의 예측 불확실성 정량화에 대한 이론적 토대를 제공한다.

Anytime-Valid Confirmation of Label-Shift Corrections

기반 연구conformal prediction의 이론적 기반을 공유한다.

Representative, Informative, and De-Amplifying: Requirements for Robust Bayesian Active Learning under Model Misspecification

기반 연구SPECTER2 유사도 0.91로 Statistical Causal Inference Methods와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'Representative, Informative, and De-Amplifying: Requirements for Robust Bayesian Active Learning under Model Misspecification'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Celcomen: spatial causal disentanglement for single-cell and tissue perturbation modeling

기반 연구SPECTER2 유사도 0.91로 Statistical Causal Inference Methods와 Agentic AI for Scientific Automation가 맞닿아, 'Celcomen: spatial causal disentanglement for single-cell and tissue perturbation modeling'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

NOF1-BCD - a framework for causal estimates with N-of-1 Bayesian Digital Twins

다른 접근missingness pattern 문제를 다루는 다른 conformal prediction 접근법을 제안한다.

Three Tests for an Adoption-Aware Crop Recommender: Sensitivity, Permutation, Placebo

다른 접근동일한 정책 추천 평가 문제를 다른 통계적 접근으로 다루는 대안적 방법을 제시한다.

Accelerometry-Derived Digital Biomarkers for Cardiometabolic Risk: A Population-Representative Tabular Benchmark with Uncertainty Quantification

다른 접근생체신호 기반 심대사 건강 예측 벤치마크라는 관련 주제

Causal Risk Minimization for High-Dimensional Treatments

다른 접근missingness 하에서의 conformal prediction 문제를 다른 방식으로 다룬다.

Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity

후속 연구subgroup 단위 coverage gap을 다루는 conformal prediction 확장 연구로 병원 간 배포 시나리오에 적용 가능한 기반을 제공한다.