ECG-R1: Protocol-Guided and Modality-Agnostic MLLM for Reliable ECG Interpretation

Motivation

• Known: 기존 딥러닝 기반 심전도 이상 탐지 모델들은 진단 정확도는 높지만 언어적 해석 능력과 해석 가능성이 부족하며, 최근 medical MLLM들이 의료 데이터 해석 및 보고서 생성에서 발전하고 있다.
• Gap: 기존 medical/general MLLM 및 ECG-Grounding과 같은 ECG 전용 데이터셋은 순수 프롬프팅 기반 LLM 생성에 의존해 사전학습된 지식에 좌우되므로 임상적으로 부정확한 hallucination을 유발하며, 또한 신호와 이미지 두 modality 중 하나가 결측될 경우 진단 정확도가 크게 저하되고 modality 간 해석 일관성이 깨지는 문제가 있다.
• Why: ECG는 임상에서 가장 흔히 사용되는 진단 도구이며, 잘못된 해석은 환자가 적절한 치료를 받지 못하게 하여 심각한 건강 문제나 생명 위협으로 이어질 수 있으므로, MLLM의 hallucination 문제와 modality 결측 시 신뢰성 저하 문제를 해결하는 것은 임상 적용을 위해 매우 중요하다.
• Approach: 본 논문은 monograph 기반의 정량적 임계값과 진단 로직으로 grounding된 instruction corpus를 구축하고, 신호와 이미지 modality를 분리한 아키텍처에 Interleaved Modality Dropout을 적용하며, 최종적으로 ECG Diagnostic Evidence Rewards를 활용한 강화학습으로 evidence-grounded 추론을 강화하는 세 가지 혁신을 통합한다.

Achievement

Figure 4. Modality Missing Results between Time-Series and Image Modalities.

1. ECG-R1 제안: 최초의 reasoning ECG MLLM을 제안하고 ECG Diagnostic Evidence Rewards 기반 강화학습으로 추가 최적화하여 ECG 해석 능력을 향상시켰다.
2. Protocol-Guided Instruction Data Generation: monograph에서 정의된 임계값과 진단 규칙을 활용해 6단계 구조적 분석과 최종 요약·진단으로 구성된 corpus를 생성하고, 주석되지 않은 잠재적 이상 소견까지 드러낸다.
3. Interleaved Modality Dropout: modality 결측과 token-block 순서 교환을 시뮬레이션하는 이론적으로 뒷받침된 학습 전략을 제시하고 강건성 및 cross-modal consistency에 대한 이론적 보장을 제공한다.
4. 체계적 평가 및 검증: proprietary, open-source, medical MLLM들의 ECG 해석 능력을 체계적으로 평가하여 심각한 한계를 드러내고, 자격을 갖춘 심장 전문의 평가를 통해 ECG-R1의 우수한 신뢰성과 임상적 유용성을 검증했다.

How

Figure 2. Framework of ECG-R1. Instruction generation builds a protocol-guided interpretation corpus by combining ECG gr

• Grounding Features Extraction: 12-lead ECG 원시 신호에서 심박별로 fiducial-point amplitude, waveform morphology, 주요 interval(RR, PR, QRS, QT/QTc 등)을 결정론적 FeatureDB로 추출하여 lead당 14개 시퀀스, 총 구조화된 feature dictionary xfs를 생성한다.
• Protocol-Guided Diagnosis Guider: 추출된 feature dictionary를 임상 monograph에서 도출한 5단계 protocol과 결합하여, 순수 프롬프팅 방식 대신 정량적 임계값과 진단 로직을 따르는 low-hallucination 목표 응답 y를 전문가 주석 없이 생성한다.
• Modality-Decoupled Architecture: ECG 이미지와 신호를 위한 별도의 encoder와 lightweight projector를 사용해 modality별 표현을 공유 LLM 공간으로 정렬하는 dual-encoder 구조를 설계한다.
• Interleaved Modality Dropout (IMD): 학습 중 modality를 무작위로 dropout하거나 token-block 순서를 교환하여 입력을 interleave함으로써 modality 결측 상황에서의 강건성과 cross-modal consistency를 명시적으로 강화한다.
• 2단계 학습 전략(SFT+RL): 먼저 supervised fine-tuning을 수행한 뒤, ECG Diagnostic Evidence Rewards를 활용한 강화학습을 적용하여 최종 답변 정확도뿐 아니라 구조화된 중간 추론 과정까지 보상함으로써 evidence-grounded 해석 능력을 강화한다.
• 체계적 벤치마크 평가: GPT-5.1, MedGemma, GEM 등 proprietary·open-source·medical MLLM들을 대상으로 hallucination 및 modality missing 상황에서의 성능 저하와 cross-modal inconsistency를 정량적으로 측정하고, licensed cardiologist 평가로 임상적 신뢰성을 검증한다.

Originality

• 임상 monograph 기반의 정량적 임계값과 진단 로직을 활용해 instruction 데이터를 생성하는 protocol-guided 접근은 기존 순수 프롬프팅 기반 LLM 데이터 생성(ECG-Grounding 등)과 차별화되는 독창적 시도이다.
• ECG 신호와 이미지 modality를 명시적으로 분리하고 Interleaved Modality Dropout을 통해 modality 결측 상황에 대한 이론적 강건성 보장을 제공하는 것은 기존 ECG MLLM 연구에서 다루지 않은 새로운 관점이다.
• 최종 답변뿐 아니라 구조화된 중간 추론 과정에 대해서도 보상을 부여하는 ECG Diagnostic Evidence Rewards는 일반 reasoning LLM(DeepSeek-R1 등)의 answer-level 최적화 방식과 구분되는 process-level 임상 추론 강화 시도이다.
• 기존 proprietary·의료 MLLM들의 hallucination 문제를 정량적으로 최초로 입증하여 공공의 무비판적 신뢰 사용에 경고를 제시한 점도 실용적 독창성을 지닌다.

Limitation & Further Study

• 발췌된 내용만으로는 EDER의 구체적 보상 설계 및 RL 최적화 알고리즘(예: PPO/GRPO 여부)의 세부 사항이 명확히 드러나지 않아 재현성 검증이 어렵다.
• Protocol-Guided Diagnosis Guider가 활용하는 monograph의 범위나 다양한 심장질환 유형에 대한 커버리지가 제한적일 경우 일반화 성능에 한계가 있을 수 있다.
• 심장 전문의 평가의 표본 크기, 평가자 수, 평가 기준의 객관성 등에 대한 상세 정보가 부족해 임상적 유용성 주장의 신뢰도를 완전히 판단하기 어렵다.
• 후속 연구로는 다양한 임상 환경(다양한 인구집단, 다양한 ECG 장비)에서의 외적 타당성 검증과, EDER의 보상 설계를 다른 의료 영상 해석 과제로 확장하는 연구가 필요하다.

Evaluation

총평: ECG 해석에서의 hallucination과 modality 결측 문제라는 실질적 임상 난제를 protocol-guided 데이터 생성, modality-decoupled 아키텍처, evidence 기반 강화학습이라는 세 가지 축으로 종합적으로 해결하려는 시도로, 임상 적용 가능성과 학술적 기여도가 모두 높은 연구이다.