Evaluating Long-Range Temporal Structure in Foundation Model-Based Forecasts of Heartbeat Dynamics

Motivation

• Known: TSFMs는 대규모 사전학습을 통해 zero-shot in-context learning으로 다양한 시계열 데이터를 예측하는 데 뛰어난 성능을 보여왔으며, 데이터가 부족한 의료 도메인에서 유망한 대안으로 여겨지고 있다.
• Gap: ECG-specific foundation model들은 공개된 weight가 부족하고 주로 classification에 초점을 맞추고 있어, 범용 TSFM들이 실제로 심박동의 장기 물리생리학적 구조(RR interval, 분~시간 스케일)를 포착할 수 있는지는 검증되지 않았다.
• Why: ECG 기반 장기 예측은 심장 돌연사, 심실 부정맥, 심근경색 등 심혈관 이상을 조기에 예측하는 데 중요하며, RR interval은 milliseconds 단위 파형보다 자율신경 조절을 더 직접적으로 반영하기 때문에 TSFM의 신뢰성 있는 임상 적용 전에 이러한 물리생리학적 타당성 검증이 필수적이다.
• Approach: MIT-BIH NSRDB 데이터셋을 이용해 TimesFM 2.5, Chronos-2, Moirai 2.0 등 범용 TSFM들의 zero-shot RR-interval 예측 성능을 다양한 context length와 forecast horizon 조건에서 평가하고, LSTM 베이스라인과 비교한다.

Achievement

1. 장거리 예측 성능 저하 확인: forecast horizon이 늘어남에 따라 Chronos-2와 TimesFM 등의 RMSE가 크게 증가함을 정량적으로 보여, TSFM들이 장거리 RR-interval 구조를 제대로 포착하지 못함을 입증했다.
2. context 길이 증가의 한계 규명: context length를 2,048에서 8,192로 늘려도 성능이 일관되게 개선되지 않음을 확인하여, 단순히 더 긴 이력을 제공하는 것만으로는 장기 예측 성능 향상에 충분하지 않음을 보였다.
3. 물리생리학적 타당성 평가 프레임워크 제안: MAE, RMSE 외에 SDNN, RMSSD, KS goodness-of-fit(Time Rescaling Theorem 기반) 등을 도입하여 단순 pointwise 오차를 넘어 심박동 생성 과정의 통계적 특성까지 평가하는 방법을 제시했다.

How

• MIT-BIH NSRDB의 18개 ECG 기록을 이용해 8,192 samples의 context를 주고 1,024 samples를 예측하는 설정으로 실험 수행
• 평가 대상 모델: TimesFM 2.5 (Google), Chronos-2 (Amazon), Moirai 2.0 (Salesforce), 그리고 비-foundation model 베이스라인으로 LSTM 포함
• context length(2,048/4,096/8,192)와 prediction horizon(256~1,024 beats)을 변화시키며 subject-averaged MAE, RMSE, KS statistic을 95% bootstrap confidence interval과 함께 보고
• 물리생리학적 타당성 평가를 위해 SDNN(전체 변동성), RMSSD(단기 변동성), KS score(Time Rescaling Theorem 기반 generative process 적합도)를 추가 metric으로 사용

Originality

• ECG 파형 수준(milliseconds)이 아닌 RR interval 수준(분~시간)의 장거리 시간 구조를 평가 대상으로 삼은 점이 기존 TSFM 벤치마크와 차별화됨
• 단순 pointwise 오차 지표(MAE, RMSE)를 넘어 SDNN, RMSSD와 같은 임상 심박변이도(HRV) 지표 및 KS goodness-of-fit을 결합해 분포 수준의 물리생리학적 적합성을 평가하는 새로운 평가 프레임워크를 제시
• Time Rescaling Theorem을 활용한 KS score를 시계열 예측 평가에 적용한 접근이 독창적

Limitation & Further Study

• 평가 대상이 정상 동율동 환자만 포함된 MIT-BIH NSRDB 한 데이터셋에 국한되어, 부정맥 등 병리적 상태에 대한 일반화 가능성은 검증되지 않음
• ECG-specific foundation model들이 공개 weight 부재로 배제되어, 범용 TSFM과의 비교가 제한적이며 특화 모델의 잠재력은 평가되지 않음
• 실험 결과(특히 KS score 및 물리생리학적 지표에 대한 정량적 비교)가 본문 발췌에서 충분히 제시되지 않아 결론의 완전성 검증이 어려움
• 후속 연구로 병리적 심박동 데이터, fine-tuning 기반 적응, 그리고 장거리 구조를 명시적으로 모델링하는 아키텍처 개선 방향이 필요함

Evaluation

총평: 범용 TSFM들이 심박동의 장거리 생리학적 구조를 제대로 포착하지 못한다는 것을 체계적이고 다각적인 지표로 실증한 의미 있는 워크숍 논문으로, 임상 배포 전 물리생리학적 타당성 검증의 필요성을 잘 부각시켰다.