From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction

Motivation

• Known: EHR을 자연어 시퀀스로 변환해 LLM에 입력하면 mortality prediction, phenotyping 등 clinical prediction 작업에서 zero-shot 성능과 해석 가능한 설명 생성이 가능함이 알려져 있다.
• Gap: longitudinal하거나 고빈도인 EHR은 BPE, WordPiece, SentencePiece 등 범용 tokenizer로 인해 과도하게 긴 토큰 시퀀스(수만 토큰)를 생성하며, 기존 압축 방안은 medical vocabulary 재훈련으로 인한 높은 자원 비용, 토큰 제거로 인한 임상 정보 손실, 또는 추가 모듈 도입으로 인한 추론 지연 문제를 각각 안고 있어 손실 없이 효율적이며 기존 LLM과 호환되는 tokenisation 압축법이 부재하다.
• Why: EHR 기반 clinical prediction에서 긴 토큰 시퀀스는 계산 비용 증가와 context window 초과, 성능 저하를 야기하므로, 재훈련이나 추가 모듈 없이 losslesss하게 시퀀스를 압축할 수 있는 방법은 실제 임상 배포에서 지연 시간과 비용을 크게 줄이면서 정확도와 정보 무결성을 동시에 확보하는 데 중요하다.
• Approach: MedTPE는 EHR corpus에서 자주 동시 발생하는 medical token pair를 발굴해 composite token(TPE token)으로 병합하고, dependency-aware replacement 전략으로 pre-trained LLM vocabulary 중 희귀 토큰 약 3%를 이 TPE 토큰으로 치환한 뒤, 새 토큰의 embedding만 self-supervised learning으로 미세조정한다.

Achievement

Figure 3. Analysis of cost for MedTPE integration. Each curve

1. 손실 없는 토큰 압축: 입력 토큰 길이를 최대 31% 줄이고 추론 지연을 34-63% 감소시켰다.
2. 성능 유지 및 개선: 여러 LLM 및 4개 clinical prediction task에서 예측 성능과 출력 형식 준수율을 유지하거나 향상시켰다.
3. 효율적 파라미터 사용: LLM 전체 파라미터의 0.5-1.0%에 해당하는 새 토큰 embedding만 미세조정하여 자원 효율성을 확보했다.
4. 강건성과 일반화: 다양한 input context length에서 강건하며, 과학·금융 도메인 및 여러 언어로 일반화 가능함을 입증했다.

How

Figure 2. Overview of MedTPE tokenisation and its integration with LLMs. (a) Token-pair encoding: MedTPE identifies freq

• EHR 시퀀스에서 자주 동시 발생하는 medical token pair를 탐지하여 TPE(token-pair encoding) 토큰 생성
• dependency-aware replacement 전략을 통해 pre-trained LLM vocabulary 내 최저 빈도 토큰 약 3%를 최고 빈도 TPE 토큰으로 대체, 기존 vocabulary 크기·계산 복잡도 보존
• 새로 도입된 토큰의 embedding만 self-supervised learning으로 미세조정, 나머지 모델 파라미터는 고정
• 두 개의 실제 임상 시나리오(고빈도 ICU 데이터와 길고 sparse한 longitudinal care 데이터)에서 여러 LLM backbone과 4개 clinical prediction task에 대해 실험 수행
• context length에 따른 강건성 및 과학·금융 도메인, 다국어로의 일반화 성능 검증

Originality

• 기존 연구들이 medical-specific vocabulary 재훈련, 토큰 제거(removal-based), 추가 모듈 삽입(merge-based) 방식으로 압축을 시도한 것과 달리, tokenisation 과정 자체를 최적화하여 손실 없는 압축을 달성한 최초의 접근
• dependency-aware replacement를 통해 원본 vocabulary 크기와 계산 복잡도를 그대로 유지하면서 새로운 medical token을 도입하는 전략이 독창적
• labelled data 없이 self-supervised learning만으로 신규 토큰 embedding을 정렬시켜 label-free 효율적 미세조정을 구현

Limitation & Further Study

• 논문 발췌본에서 dependency-aware replacement의 구체적 알고리즘 세부사항과 이론적 보장(예: 3% 치환 비율 선정 근거)이 충분히 제시되지 않아 추가 검증이 필요
• self-supervised fine-tuning에 사용되는 데이터 규모나 도메인 편향이 성능에 미치는 영향에 대한 분석이 부족해 보임
• 압축률(최대 31%)이 극단적으로 긴 시퀀스(수만 토큰) 상황에서 여전히 context window 한계를 완전히 해결하지 못할 가능성이 있어, 더 높은 압축률을 달성하는 후속 연구가 필요
• 특정 tokenizer(BPE 계열)에 최적화된 방법으로 보이며, 다른 아키텍처(예: byte-level 모델)로의 확장성 검증이 추가로 요구됨

Evaluation

총평: tokenisation 수준에서의 손실 없는 압축이라는 참신한 접근으로 clinical LLM 배포의 실용적 문제를 효과적으로 해결하며, 다양한 도메인·언어로의 일반화 가능성까지 보여준 완성도 높은 연구이다.