Informative Irregularity as a Diagnostic for Model Robustness

Motivation

• Known: EHR의 불규칙 샘플링은 전통적으로 결측치(missing data) 문제로 취급되어 LOCF 등 imputation으로 처리되어 왔으며, 최근에는 결측 패턴 자체가 informative missingness를 나타낸다는 연구들과 구조적 워크플로우 메타데이터를 모델링에 직접 활용하는 접근들이 존재한다.
• Gap: 기존 연구들은 temporal dynamics를 opaque한 표현으로 처리하는 데 그치며, sampling trajectory의 구조를 명시적으로 정량화·프로파일링·추출하여 모델의 irregularity regime별 취약성을 체계적으로 진단하는 data-centric 접근은 부재했다.
• Why: 환자 악화(deterioration) 조기 예측 모델의 신뢰성은 임상 현장 적용에 필수적인데, 측정 타이밍이 임상 프로토콜·환자 상태·인력 가용성을 반영하는 informative signal이라면 이를 무시하고 imputation만으로 처리하는 것은 모델 성능과 강건성(robustness)을 저해할 수 있어, 이를 구조적으로 진단하는 프레임워크는 임상 AI 신뢰성 평가에 중요하다.
• Approach: MIMIC-IV/MIMIC-IV-ED의 3,497개 ED stay에서 vital sign 관측 타임스탬프로부터 구조적 메타데이터(inter-observation interval, z-score, acceleration, rolling statistics 등)를 추출하고, XGBoost 기반 5개 ablation 파이프라인과 leakage-free two-phase stratification(Adherence Rate, QCD 축)을 통해 irregularity regime별 모델 강건성을 평가한다.

Achievement

Figure 1. AUPRC Lift by irregularity stratum. Evaluated pipelines

1. 구조적 메타데이터의 예측력 입증: 구조적 워크플로우 메타데이터(Fmeta) 통합이 native baseline 대비 +4.1% AUPRC 향상을 가져옴을 보였다.
2. 독립적 진단 신호 확인: SHAP 기반 feature importance 분석에서 구조적 feature와 생리학적(vital sign) feature 간 평균 상관관계 |ρ|=0.041로, 구조적 메타데이터가 생리 신호와 통계적으로 독립적인 정보를 제공함을 확인했다.
3. irregularity regime별 취약성 지도화: 두 단계 stratification(Adherence Rate × QCD)을 통해, local routine rhythm을 벗어난(low adherence) 샘플링 구간에서 구조적 메타데이터의 유용성이 최대(+8.0% AUPRC)로 나타남을 규명했다.
4. imputation의 부작용 정량화: LOCF 기반 30분 격자 강제 적용(Plocf, Pmeta+locf)이 구조적 정보 보존 시에도 성능에 미치는 영향을 ablation을 통해 정량적으로 비교했다.

How

Figure 4. Spearman rank correlation (ρ) heatmap comparing the top-ranked (k = 10) physiological and structural metadata

• Data & Task: MIMIC-IV(사망/ICU 입실 복합 endpoint) + MIMIC-IV-ED(첫 6시간 vital sign, ≥6회 관측 조건) 코호트 구성 (N=3,497, 23,979 timestamps)
• Feature Space 분리: 생리학적 공간 Fphys(vital sign 요약통계)와 구조적 메타데이터 공간 Fmeta(inter-observation interval ∆T 기반 z-score, acceleration, rolling mean/std 등)를 명시적으로 분리 추출
• 5개 Ablation Pipeline: Pbase, Pcount(관측 횟수 추가), Plocf(30분 격자+LOCF), Pmeta(native sparsity + Fmeta), Pmeta+locf(LOCF 격자에서 Fmeta 계산) 비교
• Two-Phase Stratification: Phase 1에서 CV, QCD, Adherence Rate 중 상관관계가 가장 낮은 QCD-Adherence Rate 쌍을 데이터 기반으로 선택(ρ=-0.430); Phase 2에서 cross-validation fold 내부에서 training fold 기준 median threshold를 산출해 leakage 없이 4분면(Qα, Qβ, Qγ, Qδ)으로 test fold를 분류
• 평가: XGBoost 분류기, 5x10 repeated stratified K-fold CV(subject id 레벨 분할), SHAP 값을 통한 feature importance 및 Spearman correlation을 통한 feature 직교성(orthogonality) 분석

Originality

• 측정 타이밍(샘플링 행동) 자체를 imputation 대상이 아닌 명시적·해석 가능한 진단용 feature로 재정의한 관점 전환
• Adherence Rate와 QCD라는 상관성이 낮은 두 축을 데이터 기반으로 선정해 irregularity를 다차원적으로 정의한 stratification 방법론
• Cross-validation fold 내부에서 threshold를 계산하는 leakage-free stratification 설계로 평가의 방법론적 엄밀성 확보
• SHAP 기반 구조적/생리학적 feature 간 통계적 독립성(orthogonality) 정량화 시도

Limitation & Further Study

• 단일 기관(MIMIC-IV-ED) 데이터셋에 기반하여 외부 병원/코호트로의 일반화 가능성이 검증되지 않음
• 관측 window를 첫 6시간, ≥6회 관측으로 제한하여 코호트 선택 편향(selection bias) 가능성 존재
• XGBoost 단일 모델 아키텍처로만 검증되어, 시계열 특화 모델(RNN, Transformer 계열)에서도 동일한 결론이 성립하는지 불명확
• Adherence Rate의 tolerance τ=0.5, bin 크기 60초 등 하이퍼파라미터 선택의 민감도 분석이 제한적으로 보임
• 후속 연구로 다기관 데이터 검증, 다양한 모델 아키텍처 적용, stratification 임계값에 대한 민감도 분석이 필요

Evaluation

총평: 불규칙 샘플링을 노이즈가 아닌 진단 신호로 재해석하고 이를 정량적으로 검증한 방법론적 기여가 명확하며, leakage-free stratification 설계가 신뢰도를 높인다. 다만 단일 데이터셋·단일 모델 검증에 그쳐 일반화 가능성에 대한 추가 검증이 필요한 워크샵 논문 수준의 연구이다.