Scaling ECG-Language Models: A Comparative Study of PEFT-Based Adaptation Across Backbone Architectures

Motivation

• Known: ECG-language model(ELM) 연구는 HeartLang, ECG-Chat, GEM, PULSE 등에서 instruction-tuning을 통해 ECG 신호를 언어로 해석하는 방향으로 발전해왔고, LoRA와 같은 PEFT 기법이 의료 AI 적응에 효율적임이 알려져 있다. 또한 ECG-FM 등 wav2vec2 기반 ECG 파운데이션 모델이 공개되어 재현 가능한 인코더로 활용되고 있다.
• Gap: 기존 ELM 연구는 대부분 단일 백본이나 단일 적응 전략에 국한되어, 서로 다른 모델 계열·크기·양자화 조건에서 어떤 PEFT 전략이 안정적이고 효과적인지에 대한 비교 지식이 부족했다. 특히 대형 양자화 LLM에서 joint PEFT의 안정성과 few-shot in-context 학습의 아키텍처 의존적 효과는 체계적으로 검증되지 않았다.
• Why: 임상 ECG 워크플로우는 감사 가능성, 로컬 배포, 재현 가능한 가중치 접근, 기관별 맞춤화를 요구하므로 오픈 모델 기반의 실용적 적응 전략에 대한 지침이 중요하며, 이는 향후 임상 검증을 위한 설계 선택의 근거를 제공한다.
• Approach: LLaVA 패러다임을 따라 고정된 ECG-pretrained wav2vec2 인코더를 프로젝션 레이어를 통해 Qwen3.5-9B, Qwen3.6-27B, Gemma 4-E4B, Gemma 4-31B 네 개의 백본에 연결하고, projection-only, joint PEFT(LoRA), few-shot connector PEFT 세 전략의 성능을 PTB-XL, MIMIC-IV-ECG, ECG-Instruct-PULSE 데이터셋에서 비교한다.

Achievement

1. 비단조적 스케일링 발견: 9B Qwen3.5 모델이 PTB-XL에서 46.79% exact-match accuracy(선행 ELM 대비 +14.3%)를 달성하여 27B 모델보다 9.7점 높은 성능을 보였으며, 이는 backbone 크기가 클수록 항상 좋은 것은 아님을 시사한다.
2. Projection-only의 안정성 입증: 대형 양자화 모델에서 joint PEFT는 cosine LR restart 이후 성능이 저하되는 반면, projection-only fine-tuning은 더 안정적이고 우수한 결과를 낸다.
3. Few-shot의 아키텍처 의존적 효과: 27B few-shot 모델은 모든 보고된 지표(ACC +2.9%, F1 +4.2 on PULSE)에서 개선을 보인 반면, 9B few-shot 모델은 정밀도를 유창성과 맞바꾸는 트레이드오프를 보였다.
4. 임상적으로 유의미한 실패 모드 이분법 발견: Qwen 계열은 고특이도(93-95%)로 rule-out 도구에 가깝고, Gemma 4 계열은 고민감도(66-75%)로 screener에 가까운 상보적 운영점을 갖는다.

How

• ECG 인코더: ECG-FM의 wav2vec2 스타일 인코더(WCR pretraining: W2V+CMSC+RLM)를 고정하여 사용, 12-lead 2500 샘플(250Hz) 입력을 처리
• 커넥터: GELU 활성화의 2-layer MLP로 인코더 출력을 단일 토큰으로 압축해 LLM 임베딩 공간에 투영
• 세 가지 PEFT 전략: (1) projection-only(커넥터만 학습, ~5-15M 파라미터), (2) joint PEFT(커넥터+LoRA, r=8-16), (3) few-shot connector PEFT(in-context 예시 1개 추가)
• 학습: PTB-XL+MIMIC-IV-ECG+ECG-Instruct-PULSE 혼합 데이터(~1.9M 샘플) 1 epoch, lr 2×10⁻⁵, cosine restart 25 cycles, 단일 96GB VRAM GPU
• 평가: BLEU-4, ROUGE-L, METEOR, BERTScore-F1, token-F1, ACC를 20K/5K 테스트셋에서 3 seed 평균으로 측정, ELF 프로토콜과 매칭

Originality

• 단일 백본이 아닌 두 계열(Qwen, Gemma 4)×두 크기 티어(소형/대형)의 4개 백본을 통일된 프레임워크에서 비교한 최초의 체계적 실증 연구
• Projection-only, joint PEFT, few-shot connector PEFT라는 세 가지 적응 전략의 안정성과 성능 트레이드오프를 양자화 조건까지 포함하여 비교 분석
• ECG-language model의 실패 모드를 민감도/특이도 관점에서 screener vs. rule-out tool이라는 임상적으로 해석 가능한 이분법으로 프레이밍한 점

Limitation & Further Study

• 저자 스스로 "preliminary" "exploratory"라 명시하듯 통제된 스케일링 법칙 실험이 아니라 이질적 백본 간 비교로, 인과적 결론 도출에 한계가 있음
• 커넥터가 ECG 인코더 출력을 단일 토큰으로 압축하는 매우 공격적인 병목 설계로, lead-level 형태학 및 시간적 세부정보를 손실할 가능성이 있으며 multi-token 표현에 대한 후속 검증 필요
• 4-bit 양자화와 bf16 모델을 혼합 비교하여 정밀도 차이가 결과에 혼입되었을 가능성 존재
• 임상 민감도/특이도 분석은 예비 단계이며 대규모 임상 검증이 필요하다고 저자도 인정함
• 초록 발췌 특성상 본문 실험 결과표가 일부만 제공되어 전체 비교의 완전성 평가가 어려움

Evaluation

총평: 여러 백본과 PEFT 전략에 대한 실용적 비교표를 제공하는 유용한 워크숍 수준의 탐색적 연구이나, 통제된 실험 설계와 대규모 임상 검증이 결여되어 예비적 성격이 강하다.