OpenTSLM: Time-Series Language Models for Reasoning over Multivariate Medical Text- and Time-Series Data

Motivation

• Known: 기존 연구들은 시계열을 텍스트로 토큰화하거나, soft prompting으로 시계열 임베딩과 텍스트 임베딩을 결합하거나, 분류 헤드를 붙여 시계열 파운데이션 모델을 특징 추출기로 활용하는 방식을 사용해왔으며, 일부는 cross-attention을 시도했으나 텍스트 생성 능력을 희생하거나 단일 센서에 국한되는 경우가 많았다.
• Gap: 시계열을 텍스트 토큰으로 단순 인코딩하는 방식은 성능이 제한적이고, 분류 헤드 기반 접근은 자유 형식 텍스트 생성 능력을 상실하며, soft prompting은 긴 시계열이나 다중 센서에서 컨텍스트 길이와 self-attention의 이차 비용 문제로 확장성이 떨어진다는 한계가 있었다.
• Why: 웨어러블 및 종적 의료 데이터를 자연어로 해석 가능하게 만들면 임상의와 환자가 복잡한 시계열 건강 정보를 직접 질의하고 추론할 수 있게 되어, 실행 가능한 인사이트와 환자 대상 디지털 헬스 애플리케이션으로 이어질 수 있다는 점에서 중요하다.
• Approach: 사전학습된 LLM(Llama, Gemma)에 시계열 인코더(처음부터 학습되거나 Chronos-2 같은 TSFM 기반)를 결합하여, soft prompting(OpenTSLM-SoftPrompt) 또는 Flamingo에서 영감을 받은 cross-attention(OpenTSLM-Flamingo) 방식으로 텍스트와 다중 시계열을 융합하고, chain-of-thought 기반 텍스트 추론 태스크로 학습한다.

Achievement

Figure 4. VRAM memory usage in training across datasets.

1. 새로운 CoT 데이터셋 3종 구축: HAR-CoT(인간 활동 인식), Sleep-CoT(수면 단계 분류), ECG-QA-CoT(심전도 질의응답)을 새로 도입하여 시계열 추론 모델 학습 및 평가를 가능하게 함.
2. 베이스라인 대비 성능 우위: 수면 단계 분류에서 F1 69.88%, HAR에서 F1 67.64%를 달성하여 텍스트 토큰화, 분류 헤드 기반 접근 등 기존 베이스라인을 능가함.
3. 메모리 효율적 확장성 입증: OpenTSLM-Flamingo가 시계열 개수와 길이가 늘어날수록 OpenTSLM-SoftPrompt 대비 VRAM 메모리 사용에서 더 효율적으로 확장됨을 실험적으로 보임.
4. 전문가 평가를 통한 임상적 타당성 검증: 심장 전문의(cardiologist)들이 raw ECG 데이터에 대한 OpenTSLM의 추론 결과를 평가하여 강력한 추론 능력을 확인함.

How

Figure 2. Architecture of OpenTSLM-SoftPrompt

• Llama와 Gemma 백본을 기반으로 두 가지 아키텍처 변형(OpenTSLM-SoftPrompt, OpenTSLM-Flamingo)을 구축.
• OpenTSLM-SoftPrompt는 학습 가능한 인코더로 시계열을 토큰으로 변환해 텍스트 토큰과 단일 시퀀스로 concatenate하여 처리.
• OpenTSLM-Flamingo는 시계열을 별도 모달리티로 취급하며 Flamingo 스타일 cross-attention 메커니즘으로 텍스트와 시계열을 명시적으로 융합.
• 시계열 인코더는 처음부터 학습하거나 Chronos-2 같은 time-series foundation model을 활용.
• 분류 헤드 기반 기존 접근과 달리, 예측 이전에 chain-of-thought(CoT) rationale을 생성하도록 텍스트 기반 추론 태스크로 학습.
• LLM 텍스트 토큰화 기반 방법(Gruver et al., 2023), 파인튜닝된 토큰화 시계열 모델, 비전 기반 접근법 등과 벤치마크 비교.
• HAR-CoT, Sleep-CoT, ECG-QA-CoT 세 데이터셋에 대해 학습 및 평가를 수행하고, VRAM 사용량 측정 및 심장 전문의의 정성 평가를 병행.

Originality

• 시계열을 LLM의 완전한 네이티브 모달리티로 통합하면서도 자유 형식 텍스트 생성(chain-of-thought 추론)을 유지한다는 점에서 기존의 분류 헤드 기반 혹은 토큰화 기반 접근과 차별화됨.
• soft prompting과 cross-attention(Flamingo 방식) 두 방식을 동일한 프레임워크 내에서 직접 비교하여 어떤 방식이 다중·장기 시계열에 더 적합한지 체계적으로 분석함.
• 다중 센서(multivariate) 원시 의료 시계열에 대한 cross-attention 기반 텍스트 추론 접근은 선행 연구(Zhang et al., 2025 등)가 단일 센서 통계 요약에 그친 것과 달리, raw 다변량 시계열에 대한 자유 형식 추론까지 확장함.
• HAR-CoT, Sleep-CoT, ECG-QA-CoT라는 새로운 CoT 형식의 의료 시계열 데이터셋을 구축하여 공개함으로써 후속 연구의 기반을 마련함.

Limitation & Further Study

• 발췌된 abstract 및 서두 내용만으로는 데이터셋 규모, 태스크별 세부 성능 비교, 실패 사례에 대한 심층 분석이 부족해 실제 임상 적용 가능성에 대한 판단이 제한적임.
• 심장 전문의 평가가 정성적 수준에 그친 것으로 보이며, 정량적 임상 검증(예: 다기관 데이터, 대규모 환자 코호트)이 추가로 필요함.
• 시계열 인코더로 사용된 TSFM(Chronos-2 등)과 자체 학습 인코더 간의 성능 차이에 대한 심도 있는 분석이 더 필요해 보임.
• 향후 연구로는 더 다양한 의료 모달리티(예: 다중 생체신호, EHR 텍스트와의 결합) 확장, 실시간 웨어러블 환경에서의 효율성 검증, 그리고 대규모 임상 시험을 통한 안전성·신뢰성 평가가 필요함.

Evaluation

총평: 시계열을 LLM의 네이티브 모달리티로 통합하면서 자유 형식 텍스트 추론 능력을 유지한 실용적이고 잘 설계된 연구로, 새로운 CoT 데이터셋 공개와 함께 의료 시계열 추론 분야의 기반을 다지는 의미 있는 기여를 한다.