HEARTS: Benchmarking LLM Reasoning on Health Time Series

Motivation

• Known: 기존 연구는 LLM을 forecasting 등 narrow analytics에서 general-purpose reasoning으로 확장하려는 시도를 해왔으며, time series reasoning을 위한 여러 벤치마크(TimeSeriesExam, BEDTime, TSR-SUITE, MTBench, TSAIA, ECG-QA, Time-MQA 등)가 존재한다.
• Gap: 기존 time series reasoning 벤치마크는 health 도메인을 거의 다루지 않거나, health 데이터를 포함하더라도 synthetic 신호에 의존해 실제 임상 맥락과 노이즈를 반영하지 못하거나, ECG 등 단일 도메인·소수 모달리티에 국한되어 있어 다양하고 인간 수준의 이질적 건강 신호 추론을 평가하기 어렵다.
• Why: 헬스케어 physiological time series는 다중 스케일 동역학을 지니며 짧은 이상치, 서서히 진행되는 drift, cross-channel interaction이 진단과 치료에 직접적 영향을 미치는 고위험 영역이므로, LLM이 표면적 패턴이 아닌 실제 추론 능력을 갖췄는지 표준화된 방식으로 측정하는 것이 차세대 헬스케어 AI 에이전트 개발에 필수적이다.
• Approach: 저자들은 16개 실세계 헬스 데이터셋을 통합해 4개 상위 능력(Perception, Inference, Generation, Deduction)으로 구성된 110개 태스크 taxonomy를 설계하고, 20K개 이상의 테스트 샘플에 대해 16개 SOTA LLM을 평가하는 living benchmark, HEARTS를 제안한다.

Achievement

Figure 4. Performance comparison of state-of-the-art ML meth-

1. 최초의 다양한 헬스 time series 추론 벤치마크 구축: 12개 건강 도메인, 20개 신호 모달리티, 110개 태스크를 아우르며 sequence length·frequency·time span 커버리지 측면에서 기존 벤치마크를 능가한다.
2. 계층적 4단계 평가 체계 제안: 단순 계산부터 장기 통합·counterfactual deduction까지 MCQ를 넘어선 통합적 평가 설정을 도입했다.
3. 16개 LLM 대규모 실험으로 핵심 한계 규명: LLM이 특화 모델 대비 크게 뒤처지고, 성능이 일반 추론 점수와 약한 상관관계만 보이며, 단순 휴리스틱에 의존하고 다단계 시간적 추론에 취약함을 보였다.
4. 모델군에 걸친 일관된 스케일링 난제 확인: 입력 길이, 샘플링 빈도, 시간 범위가 커질수록 성능이 저하되는 model-agnostic 패턴을 규명해, 단순 scaling만으로는 문제 해결이 어렵다는 점을 실증했다.

How

Figure 2. Task and domain distributions in HEARTS.

• 12개 도메인(Motion, Metabolic, Surgery, Sleep, Respiration, Emotion, Ophthalmology 등)에서 Capture24, PAMAP2, Shanghai Diabetes, CGMacros, VitalDB 등 16개 실세계 데이터셋 수집
• Perception, Inference, Generation, Deduction 4개 카테고리로 110개 태스크 taxonomy 정의, 20,226개 테스트 케이스 구성
• MCQ 형식에 의존하지 않고 각 태스크 고유 형식(intrinsic task formats)으로 평가 설계
• 16개 SOTA LLM에 대해 성능 평가 및 specialized model과의 비교, general reasoning(지능 지수) 점수와의 회귀 분석 수행
• sequence length, sampling frequency, time span 등 시간적 복잡도에 따른 성능 저하 패턴 분석

Originality

• 기존 벤치마크가 단일 도메인·소수 모달리티·synthetic 신호에 국한된 것과 달리, 12개 도메인·20개 모달리티·16개 실세계 데이터셋을 아우르는 최초의 통합 헬스 time series 추론 벤치마크 제시
• MCQ 단일 포맷에서 벗어나 Perception, Inference, Generation, Deduction의 4단계 계층적 인지 수준으로 태스크를 구조화한 taxonomy 설계
• 커뮤니티 제출과 품질 검증을 지원하는 living benchmark 생태계로 설계해 지속적 확장성 확보
• sequence length(최대 1M+), 샘플링 빈도(최대 48kHz), time span(최대 수년)까지 지금까지 가장 넓은 커버리지를 제공

Limitation & Further Study

• 발췌된 내용상 평가 지표 및 태스크별 세부 채점 방식(예: Generation/Deduction 태스크의 자유형식 응답 채점 기준)에 대한 구체적 설명이 부족해 재현성 및 평가 신뢰성 검증이 어려움
• 16개 데이터셋이 특정 인구집단·기기·임상 환경에 편중되어 있을 가능성이 있어 일반화 가능성에 대한 추가 검증 필요
• LLM의 실패 원인(단순 휴리스틱 의존, 다단계 추론 실패)에 대한 근본적 원인 분석 및 개선 방안(e.g., tool-augmented reasoning, fine-tuning)이 추후 연구로 남아 있음
• living benchmark로서 지속적 확장을 표방하지만 장기적 유지보수 및 커뮤니티 참여 지속 가능성에 대한 실증적 근거 부족

Evaluation

총평: 헬스 time series 추론이라는 중요하지만 저평가된 영역에서 포괄적이고 체계적인 벤치마크를 제시해 LLM의 실질적 한계를 명확히 드러낸 의미 있는 연구이며, living benchmark로서의 확장성도 기대되나 세부 평가 방법론과 실패 원인 분석의 깊이는 추가 검증이 필요하다.