Time-Conditioned Foreseeing: An EHR-Specific Foundation Model for Irregular Dynamics and Calendrical Time

Motivation

• Known: 기존 EHR foundation model들은 LLM의 pretraining paradigm(NTP, MLM 등)을 차용하여 (Time, Feature, Value) triplet 형태의 임상 이벤트를 모델링하며, quantile binning이나 z-normalization으로 수치값을 discretize하고 표준적인 positional embedding으로 시간 정보를 처리해왔다.
• Gap: 기존 접근법은 (1) quantile binning이 dense한 생리적 정상 범위에 과도한 해상도를 할당해 임상적으로 중요한 병리적 값의 표현력이 부족하고, (2) 표준 positional embedding이 calendrical context나 relative interval, 동시 발생 이벤트의 순서를 제대로 포착하지 못하며, (3) NTP/MLM 같은 NLP 목적함수가 즉각적인 다음 토큰만 예측할 뿐 장기적인 임상 계획(long-range clinical planning)을 반영하지 못한다는 근본적 한계를 지닌다.
• Why: EHR은 자연어와 근본적으로 다른 구조(불규칙 시간 간격, 다봉 분포의 수치값, 장기적 임상 의사결정)를 가지므로, 이를 무시하고 NLP 기법을 그대로 차용하면 downstream 임상 과제에서 성능 저하와 임상적 의미 손실이 발생하며, 특히 데이터 불균형이 심한 의료 도메인에서 AUPRC와 같은 지표의 개선은 실제 임상 활용 가능성에 직결된다.
• Approach: EHR 데이터의 세 가지 고유 특성(수치값 분포, 시간 표현, 학습 목표)에 각각 대응하는 밀도 기반 binning, 이중 달력 RoPE, 시간 조건부 예측 objective를 통합한 새로운 pretraining 프레임워크를 제안한다.

Achievement

Figure 3. Given the initial record (orange), the subsequent medical

1. 11개 downstream task에서 SOTA 달성: 세 가지 데이터셋 구성과 7가지 다양한 downstream task에서 모든 비교 대상 EHR foundation model을 능가하며, 기존 최고 성능 모델 대비 최대 54% 향상된 AUPRC를 기록했다.
2. 최초의 timestamp 기반 EHR 생성: TCF objective를 통해 시간이 명시적으로 조건화된 patient trajectory 생성이 최초로 가능해졌으며, 생성된 기록이 시간적으로 안정적이고 현실적임을 입증했다.
3. Pathology-Focused Binning의 최초 적용: EHR foundation model에 밀도 기반 quantization을 처음 도입하여 병리적으로 중요한 희소 값 구간의 표현력을 개선했다.
4. Dual-Calendar RoPE 설계: 절대적 달력 시간과 상대적 시간 간격을 동시에 인코딩하는 positional embedding을 제안해 동시 발생 이벤트의 순서 혼동 문제와 요일/시간대 주기성을 함께 포착했다.

How

Figure 2. (A) Quantile binning concentrates bins in dense, physiologic ranges. In contrast, our method allocates more bi

• Pathology-Focused Binning: 분포 가정 없이 데이터 밀도를 기반으로, 밀집된 생리적 정상 구간에는 낮은 가중치를, 희소한 병리적 이상 구간에는 높은 가중치를 부여하여 quantization bin을 할당하는 density-based quantization strategy를 설계한다.
• Dual-Calendar RoPE: rotary positional embedding(RoPE)의 차원을 분할하여 일부는 position, 일부는 minute/day/month 등 증가하는 단위의 calendrical 구성요소에 할당함으로써 절대 시간(달력적 맥락)과 상대적 시간 간격, 동시 이벤트의 순서를 동시에 인코딩한다.
• Time-Conditioned Foreseeing (TCF) objective: 마지막 hidden state로부터 다음 timestamp를 먼저 예측하고, 이 foreseeing timestamp들을 다시 모듈 입력으로 피드백하여 이후 토큰 생성을 조건화함으로써 P(Tnext | Epast)와 P(Fforesees | Tforesees, Epast)를 동시에 학습한다.
• 세 요소를 통합한 모델을 11개 downstream task와 세 가지 데이터셋 구성에서 기존 EHR foundation model들과 비교 평가하고, EHR 생성 실험을 통해 시간적 일관성과 사실성을 정성·정량적으로 검증한다.

Originality

• EHR 데이터의 수치값 분포에 대한 분포 가정 없이 밀도 기반으로 binning을 수행하는 최초의 EHR foundation model 접근(Pathology-Focused Binning)
• RoPE 차원을 분할하여 절대적 달력 시간과 상대적 간격, 동시성(concurrency)까지 동시에 인코딩하는 Dual-Calendar RoPE라는 새로운 positional embedding 설계
• NTP/MLM 등 NLP 기반 objective의 단기적 한계를 극복하고, 임상 치료 계획(clinical treatment planning)의 논리를 반영해 다중 시간 지평(multiple temporal horizon)에 걸쳐 사건을 예측하는 TCF objective를 제안하며, 이를 통해 timestamp 조건부 EHR 생성을 최초로 가능하게 함

Limitation & Further Study

• 논문 발췌에는 구체적인 데이터셋(예: MIMIC 등) 규모, 실험 세부 설정, ablation study 결과가 충분히 제시되지 않아 각 구성요소(binning, RoPE, TCF)의 개별 기여도를 명확히 판단하기 어렵다.
• 제안된 density-based binning이나 Dual-Calendar RoPE가 다른 임상 환경(예: 외래, 응급실 등 이벤트 밀도가 크게 다른 세팅)이나 다국적 EHR 시스템에 일반화되는지에 대한 검증이 필요하다.
• TCF의 foreseeing timestamp 예측이 잘못될 경우 후속 이벤트 생성에 오류가 전파(error propagation)될 위험이 있어, 이에 대한 강건성 분석이 후속 연구로 요구된다.

Evaluation

총평: EHR 데이터의 고유한 통계적·시간적 특성을 정교하게 반영한 세 가지 기법을 유기적으로 결합해 실질적인 성능 향상과 새로운 생성 능력을 보여준 견실한 연구이며, 임상적 타당성과 기술적 참신성을 겸비한 EHR foundation model 연구로 평가된다.