Does Temporal Encoding Matter? Evidence from GRU-based Clinical Foundation Models

Motivation

• Known: longer patient history에 대한 접근이 예측 성능을 향상시킨다는 것은 알려져 있으며, transformer 기반 clinical foundation model에서는 discrete time gap token, sinusoidal elapsed-time embedding, continuous value embedding 등 다양한 explicit time encoding 방법이 제안되어 왔다.
• Gap: explicit time encoding이 downstream 성능에 실제로 기여하는지에 대한 합의가 없으며, 기존의 redundancy 관찰(Attrach et al., 2025)이 attention 기반 아키텍처 특유의 현상인지 아니면 더 일반적인 현상인지 불분명했다.
• Why: clinical foundation model 설계 시 explicit time encoding 모듈에 상당한 아키텍처적 복잡성과 계산 비용을 투입하는 것이 일반적인데, 이 연구는 그러한 설계 선택이 실제로 성능 향상에 기여하지 않을 수 있음을 보여 모델 설계 우선순위를 재고하게 한다.
• Approach: GRU 아키텍처를 사용해 attention 기반 모델에 국한되지 않는 일반화 가능성을 검증하고, 전체 patient timeline에 걸쳐 무작위로 샘플링된 admission point를 사용해 sequence length를 체계적으로 변화시키며 5가지 temporal encoding 조건을 비교하였다.

Achievement

Figure 1

1. Null result의 견고성 입증: MIMIC-IV 데이터에서 5가지 temporal encoding 전략(no encoding, discrete time tokens, learned projection, fixed sinusoidal, learned sinusoidal) 간 6개 downstream clinical task에서 통계적으로 유의미한 성능 차이가 없음을 Wilcoxon signed-rank test와 Holm-Bonferroni correction으로 확인하였다.
2. 긴 sequence에서도 일관된 결과: 가장 긴 sequence length와 다수의 historical visit을 가진 환자군에서도 explicit time encoding의 이점이 나타나지 않음을 보여, 이 null 결과가 sequence length에 기인한 아티팩트가 아님을 확인하였다.
3. Time token embedding의 의미론적 타당성 확인: PCA와 cosine similarity 분석을 통해 discrete time token embedding이 실제로 시간 순서를 반영하는 기하학적 구조를 학습했음을 확인하여, null 결과가 embedding이 학습되지 않아서가 아님을 뒷받침하였다.
4. Pre-training objective에서는 오히려 baseline이 우세: next-event prediction task에서 no-time baseline이 recall@10, precision@10 모두 가장 높은 성능을 보여, explicit time encoding 추가가 오히려 pre-training 성능을 저하시킬 수 있음을 시사하였다.

How

Figure 1

• MIMIC-IV 데이터를 MEDS 표준으로 전처리(MEDS Transform pipeline 사용)
• 각 time step의 medical code를 d=128 embedding layer로 임베딩 후 mean-pooling하여 hourly event vector 생성
• 5가지 temporal encoding 조건: (1) no encoding, (2) discrete time tokens (ETHOS 방식, 10개 variable-width bucket으로 quantise), (3) learned projection (log-scaled telapsed, tδ를 선형 투영), (4) fixed sinusoidal encoding, (5) learned sinusoidal encoding (frequency를 log-space에서 softplus로 학습)
• hidden dim 256, 2-layer GRU, dropout 0.2, AdamW + cosine annealing으로 10 epoch 학습, next-event prediction (multi-label binary classification)으로 pre-training
• 각 환자당 5개의 randomly sampled anchor point 사용, 최소 5시간 이상의 기록 보유 환자만 포함
• pre-trained GRU의 마지막 hidden state를 frozen patient representation으로 추출해 logistic regression과 random forest로 6개 binary downstream task(mortality, ED admission, ICU admission, 30-day readmission to hospital/ED/ICU) 예측
• PCA와 pairwise cosine similarity로 discrete time token embedding의 기하학적 구조 분석
• paired two-sided Wilcoxon signed-rank test + Holm-Bonferroni correction으로 baseline 대비 통계적 유의성 검증

Originality

• attention 기반 모델이 아닌 GRU 아키텍처를 사용하여 기존 transformer 중심의 time encoding redundancy 논의를 recurrent 구조로 확장, 이 현상이 아키텍처에 국한되지 않음을 검증한 최초의 시도
• 전체 patient timeline에 걸친 randomly sampled admission point를 활용해 sequence length를 체계적으로 변화시키는 평가 설계로, transformer의 context window 제약 때문에 어려운 실험을 가능하게 함
• discrete time token embedding의 학습된 표현이 실제로 시간 순서를 반영하는지 PCA/cosine similarity로 직접 검증하는 해석가능성 분석을 추가하여 null 결과의 원인(encoding 실패 vs 정보 중복)을 구분하려 시도

Limitation & Further Study

• MIMIC-IV 단일 데이터셋에 국한되어 있으며, 저자들도 인정하듯 이 데이터셋이 temporal heterogeneity가 부족해 explicit time encoding의 잠재적 이점을 실현하기에 충분하지 않을 가능성이 있음
• GRU 하나의 아키텍처와 특정 하이퍼파라미터 설정에 기반한 결론으로, 더 큰 규모 모델이나 다른 recurrent/attention 하이브리드 구조에 대한 일반화는 검증되지 않음
• downstream evaluation에 frozen representation + LR/RF만 사용하여 fine-tuning 시나리오에서의 time encoding 효과는 다루지 않음
• 향후 연구로 temporal heterogeneity가 더 큰 데이터셋(예: 장기 만성질환 코호트나 다기관 데이터)에서의 재현, fine-tuning 세팅에서의 검증, 다양한 아키텍처(예: state-space model)로의 확장이 필요함

Evaluation

총평: GRU 기반 clinical foundation model에서 explicit temporal encoding이 downstream 성능에 유의미한 영향을 주지 않는다는 명확하고 체계적인 negative result를 제시하지만, 단일 데이터셋과 단일 아키텍처에 기반한 제한적 결론이라 후속 검증이 필요한 워크숍 수준의 연구이다.