Autoregressive EHR Foundation Models with Multimodal Inputs

Motivation

• Known: Autoregressive transformer 기반 EHR foundation model(예: ETHOS)은 tokenized EHR 이벤트로부터 zero-shot 임상 예측을 지원하는 재사용 가능한 환자 표현을 학습할 수 있음이 알려져 있다. 또한 Flamingo류의 cross-attention 기반 중간 융합(intermediate fusion)이 late fusion보다 세밀한 modality 간 의존성을 포착할 수 있다는 것도 의료 분야를 포함해 널리 인식되고 있다.
• Gap: 대부분의 EHR foundation model은 구조화된 event code라는 단일 모달리티만 사용하며, ECG·CXR·clinical notes 같은 보조 모달리티를 원칙적으로 통합하지 않는다. 또한 cross-attention 기반 중간 융합은 의료 이미지·텍스트 등 개별 태스크에 적용된 바 있지만, autoregressive EHR trajectory modeling에 체계적으로 평가된 적이 없고, 긴 modality 시퀀스를 어떻게 압축할지, pretrained encoder 선택이 성능에 어떤 영향을 주는지에 대한 통제된 연구가 부재하다.
• Why: 임상 의사결정은 실제로 여러 모달리티의 증거를 종합적으로 활용하므로, 단일 모달리티 EHR foundation model의 한계를 넘어 멀티모달 융합을 원칙적으로 설계하는 것은 임상적으로 신뢰 가능한 zero-shot 예측 모델 개발에 필수적이다. 특히 본 연구는 단순히 모달리티를 추가하는 것이 항상 성능 향상으로 이어지지 않는다는 반직관적 결과를 제시하여, 향후 융합 아키텍처 설계와 평가 방법론에 중요한 시사점을 준다.
• Approach: GPT-2 스타일 decoder 기반 EHR backbone에 ECG, CXR, clinical notes를 각각 frozen pretrained encoder로 인코딩한 뒤, Perceiver에서 영감을 받은 latent compression 모듈로 소수의 latent로 압축하고, Flamingo 스타일의 gated cross-attention과 temporal alignment masking을 통해 조건화하는 멀티모달 EHR trajectory 모델을 제안한다.

Achievement

1. Latent compression의 효과 입증: MIMIC-IV ICU mortality 예측 태스크에서 latent compression이 uncompressed cross-attention과 mean pooling보다 일관되게 우수한 성능(AUROC 최대 0.8771)을 보였다.
2. 인코더 선택의 within-modality 효과 확인: 동일 modality 내에서 더 강력한 pretrained encoder(예: BioMedBERT)가 약한 대안보다 일관되게 더 나은 downstream 성능을 보였다.
3. 모달리티 추가의 한계 발견: 보조 모달리티를 단순히 추가하는 것이 EHR-only 강력한 baseline 대비 aggregate ICU mortality 성능 향상을 보장하지 않음을 발견했으며, notes+BioMedBERT 조합만 근소하게 baseline을 상회하고 3-modality 통합 모델은 baseline을 능가하지 못했다.

How

Figure 2. Multimodal EHR trajectory model. Auxiliary modalities (ECG, CXR, notes) are encoded, compressed into latent to

• MIMIC-IV v3.1 및 MIMIC-IV-ED를 MEDS 포맷으로 변환하고, ETHOS 방식을 따라 환자 기록을 시간순 토큰 시퀀스로 토큰화
• ECG는 시간 패치, CXR는 2D 패치, clinical notes는 BERT 스타일 인코더로 각각 frozen encoder를 통해 임베딩
• Perceiver 스타일 latent compression module로 각 modality 시퀀스를 k개 latent로 압축(반복 cross-attention을 통해 O(Nk+Tk)로 연산 비용 감소)
• Flamingo 스타일 gated cross-attention(학습 가능한 scalar gate)을 self-attention layer 사이에 삽입하여 EHR decoder가 압축된 modality latent에 조건화되도록 구성
• 미래 정보 누출을 방지하기 위해 EHR token이 acquisition time이 엄격히 이전인 modality 이�트에만 attend하도록 하는 temporal alignment masking 적용
• Next-token cross-entropy loss로 EHR token stream만 생성하도록 학습(보조 modality는 조건화 입력으로만 사용)
• ECG 인코더(CSFM vs ECG-FM), CXR 인코더(BioMedCLIP 등) 등 modality별 여러 pretrained encoder를 backbone과 fusion mechanism을 고정한 채 비교하는 통제된 ablation 수행

Originality

• 기존 late fusion 중심의 임상 멀티모달 연구와 달리, autoregressive EHR trajectory modeling에 Flamingo 스타일 gated cross-attention을 체계적으로 적용한 최초의 시도 중 하나
• Perceiver에서 영감을 받은 modality-specific latent compression을 EHR 멀티모달 융합에 도입하여 연산 효율성과 성능을 동시에 개선
• Temporal alignment masking을 통해 EHR token이 미래 modality 관측치를 참조하지 못하도록 엄격히 causal한 제약을 부여, 임상 시계열 데이터의 temporal leakage 문제를 명시적으로 다룸
• 압축 방식과 encoder 선택이라는 두 가지 설계 축을 통제된 방식으로 동시에 분리하여 분석한 체계적 ablation 설계

Limitation & Further Study

• 실험이 ICU mortality라는 단일 aggregate 태스크에 집중되어 있어, 각 modality가 실제로 기여할 수 있는 세부 임상 상황(예: 특정 심장 질환, 폐 질환 하위군)에서의 효과를 드러내지 못할 가능성이 있음
• 보조 모달리티 추가가 aggregate 성능에서 뚜렷한 개선을 보이지 못한 원인이 아키텍처 설계 때문인지, 평가 태스크의 한계 때문인지 명확히 분리되지 않음
• 논문 발췌본에는 CXR 인코더 비교 등 일부 결과가 완전히 제시되지 않아 전체 실험 결과의 일반화 가능성 판단이 제한적임
• 후속 연구로 보다 유연한 fusion 아키텍처(예: task-adaptive gating, modality별 fine-tuning)와 세분화된 임상적으로 맥락화된 평가 지표 개발이 필요함
• Frozen encoder만을 사용했기 때문에 modality encoder를 end-to-end로 fine-tuning했을 때의 효과는 검증되지 않음

Evaluation

총평: 멀티모달 EHR foundation model 설계에서 latent compression과 encoder 선택이라는 핵심 설계 축을 체계적으로 검증하고, 모달리티 추가가 만능이 아니라는 중요한 부정적 결과를 정직하게 제시한 견고한 워크숍 논문이다. 다만 aggregate 태스크에 국한된 평가와 발췌본상 미완성된 실험 결과로 인해 완전한 그림을 파악하기는 아직 이르다.