STT-LLM: Structural-Temporal Tokenization for Adapting LLMs to Longitudinal Clinical Profiles

Motivation

• Known: LLM은 자연어 및 멀티모달 task에서 강한 일반화 성능을 보이며, prompting이나 embedding reprogramming을 통해 clinical time-series에도 적용되고 있고, Time-LLM, UniTime 같은 방법들이 temporal patch를 token sequence로 투영하는 방식을 보여주었다.
• Gap: 기존 LLM tokenization은 텍스트나 flatten된 표 형태로 데이터를 처리해 metabolite 간 구조적 관계와 pathway-level 제약을 무시하며, GNN이나 time-series transformer 같은 도메인 특화 모델은 구조와 시간성을 명시적으로 인코딩하지만 general-purpose LLM 추론 파이프라인과 호환되지 않아 반도핑처럼 극도로 희소하고 이질적인 데이터에 적용하기 어렵다.
• Why: 모델 architecture가 아니라 tokenization 자체가 LLM을 longitudinal biomedical 데이터에 적응시키는 핵심 병목이라는 관점을 제시하며, 이는 반도핑 조기 탐지처럼 극단적 데이터 희소성 하에서도 LLM의 추론 능력과 확장성을 유지하면서 도메인 특화 지식을 통합할 수 있는 실질적 방법을 제공한다.
• Approach: Feature interaction graph의 normalized graph Laplacian eigen-decomposition으로 structural embedding을, attention 기반 positional encoding으로 temporal embedding을 각각 생성한 뒤 이를 결합한 structural-temporal embedding을 LLM-compatible token으로 변환하는 특화된 tokenizer를 설계한다.

Achievement

1. STT-LLM framework 제안: metabolic pathway 구조와 불규칙 시간적 역동성을 명시적으로 인코딩하는 structural-temporal tokenization framework를 통해 LLM backbone 수정 없이 longitudinal clinical profile에 적응시켰다.
2. 전용 tokenizer 설계: 생물학적으로 근거한 embedding을 LLM-compatible token으로 변환하는 structural tokenizer와 temporal tokenizer를 각각 제안하여 domain adaptation을 가능케 했다.
3. 실제 steroid profile 데이터에서의 성능 검증: sequence prediction과 anomaly detection 모두에서 native LLM tokenization 전략 대비 일관된 성능 향상을 보였다.
4. 전문가 평가와의 정합성 확인: case study를 통해 STT-LLM이 baseline 대비 전문가 판단과 더 잘 정렬되는 contextual reasoning을 제공함을 보였다.

How

• Feature interaction graph adjacency matrix A와 degree matrix D로부터 normalized graph Laplacian L=I−D^(-1/2)AD^(-1/2)을 계산하고 eigen-decomposition L=UλU^(-1)을 수행, eigenvector U를 학습 가능한 선형변환으로 투영해 structural embedding ES를 생성.
• Q, K, V 기반 attention mechanism과 sinusoidal positional encoding으로 시간 순서를 반영한 temporal embedding을 생성하고, feed-forward network와 layer normalization을 거쳐 ET를 산출.
• ES와 ET를 concatenate하여 unified structural-temporal embedding E(Xi)를 구성하고, 이를 LLM-compatible token으로 변환하여 task prompt token embedding ZPre와 함께 pretrained LLM에 입력.
• 실제 athlete steroid profile longitudinal dataset을 이용해 zero-shot/few-shot sequence prediction과 local/global anomaly detection 성능을 native LLM tokenization 대비 비교 평가.

Originality

• tokenization을 LLM의 clinical/biomedical domain adaptation에서 architecture보다 더 근본적인 병목으로 재정의하는 관점을 제시.
• graph Laplacian 기반 구조적 표현과 attention 기반 시간적 표현을 명시적으로 결합해 하나의 통합된 embedding으로 만들고 이를 LLM token 공간에 매핑하는 이중 tokenizer 설계.
• 스포츠 반도핑이라는 극단적으로 희소하고 이질적인 실제 longitudinal biomedical 데이터셋에 대한 적용 및 검증.

Limitation & Further Study

• 발췌된 본문에서는 구체적인 데이터셋 규모, baseline 목록, 정량적 수치가 충분히 제시되지 않아 실험적 엄밀성을 완전히 판단하기 어려움.
• feature interaction graph A가 도메인 사전지식에 의존하는데, 이것이 불가능할 경우 correlation-based graph나 identity matrix로 대체한다고 했으나 이 경우 성능 저하 정도에 대한 분석이 부족해 보임.
• 후속 연구로 다양한 clinical domain(예: 다른 대사질환, 만성질환 모니터링)으로의 일반화 가능성 검증과, structural graph를 자동으로 학습/추정하는 방법에 대한 추가 연구가 필요해 보임.
• case study가 단일 사례에 의존하는 것으로 보여, 전문가 평가와의 정합성에 대한 통계적으로 보다 광범위한 검증이 요구됨.

Evaluation

총평: Tokenization을 LLM의 longitudinal clinical 데이터 적응의 핵심 병목으로 재조명하고, graph Laplacian과 attention을 결합한 실용적 해법을 제시한 흥미로운 연구이나, 발췌 내용만으로는 정량적 검증의 세부사항과 일반화 가능성에 대한 확신을 얻기 어렵다.