Seizure-Semiology-Suite($S^3$): A Clinically Multimodal Dataset, Benchmark, and Models for Seizure Semiology Understanding

Motivation

• Known: MLLM은 일반적인 video understanding(예: ActivityNet-QA, MSRVTT-QA, MotionBench)에서 뛰어난 성능을 보이며, 의료 video understanding 연구는 수술 workflow 인식(SV-RCNet)이나 instructional video QA(MedVidQA)처럼 목적 지향적이고 구조화된 절차 중심 태스크에 집중되어 왔다. 발작 semiology 분석은 3D CNN, accelerometry, optical flow 등을 이용한 협소한 discriminative task 중심의 전통적 접근이 주를 이루어왔다.
• Gap: 발작과 같이 비자발적이고 시공간적으로 변화하는 병리적 운동 행동(laterality, 동시 증상, 정밀한 시간적 진행)을 다루는 대규모 dense annotation 데이터셋과, MLLM의 임상적으로 의미 있는 능력(perception부터 clinical reasoning까지)을 체계적으로 측정할 benchmark 및 평가 protocol이 전무하다.
• Why: 발작 semiology의 정확한 인식은 간질 진단, 발작 유형 분류, 발작 발생 영역(SOZ) 국소화에 필수적이지만 현재는 숙련된 전문가의 주관적이고 노동 집약적인 수기 video review에 의존하고 있어, 자원이 제한된 임상 환경에서 확장이 어렵다. MLLM 기반 자동화가 가능해지면 safety-critical한 의료 영역에서 신뢰할 수 있는 domain-adaptive multimodal intelligence 개발에 기여할 수 있다.
• Approach: UCLA EMU에서 수집한 438개 발작 비디오에 20개 ILAE-defined semiological feature에 대한 presence/absence, 시간 경계, 근거 설명을 포함한 dense annotation을 5단계 workflow로 구축하고, 이를 기반으로 low-level perception부터 temporal sequencing, narrative report generation, 진단까지 아우르는 7-task hierarchical benchmark와 Seizure-RQI 지표를 제안하여 11개 open-weight MLLM을 평가하고 fine-tuning 및 neuro-symbolic classification framework로 성능을 개선한다.

Achievement

1. 대규모 임상 데이터셋 구축: 116명 환자로부터 438개 발작 비디오와 35,000개 이상의 dense label(20개 ILAE semiological feature)을 갖춘 최초의 대규모 expert-supervised 발작 semiology 데이터셋을 구축했다.
2. 7-task hierarchical benchmark 및 Seizure-RQI 제안: perception부터 clinical reasoning까지 MLLM 능력을 체계적으로 측정하는 benchmark와 report 품질을 임상적으로 평가하는 Seizure-RQI를 도입했다.
3. 11개 open-weight MLLM 벤치마킹: laterality reasoning, temporal localization, symptom sequencing, faithful report generation에서의 체계적 실패 양상을 규명했다.
4. Fine-tuning 및 neuro-symbolic framework를 통한 성능 개선: seizure-specific fine-tuning으로 전반적 성능을 크게 향상시켰고, two-stage neuro-symbolic framework로 epileptic vs non-epileptic seizure classification에서 F1 0.96을 달성했다.

How

• UCLA Ronald Reagan Medical Center EMU의 2019-2023년 24/7 continuous video 기록에서 후보 발작 이벤트를 선별하고, 명확한 운동 활동과 전신이 보이는 clip만 필터링하여 438개 비디오(116명 환자) 구성
• IRB 승인 및 완전 비식별화(de-identification) 처리
• 5단계 annotation workflow: (i) 전문의의 온보딩 교육, (ii) 151개 비디오로 annotator 훈련 및 Kappa 0.8395의 신뢰도 검증, (iii) 나머지 287개 비디오에 대한 독립 annotation과 전문가 패널 합의, (iv) adaptive sampling을 통한 반복적 검증(ES pearson 0.893, NES pearson 0.782), (v) LLM 기반 문법/의미 교정 및 rule-based 시간 라벨 검증
• 환자 단위로 4:1 train/test split(ES:NES 비율 유지), test set 82개 비디오(24명 환자), training set은 4-fold cross-validation
• 7-task benchmark로 low-level visual perception부터 temporal sequencing, narrative report generation, seizure diagnosis까지 단계적으로 평가
• Seizure-RQI를 도입하여 n-gram 기반 지표(BLEU, ROUGE)나 RadGraph류의 구조 기반 지표가 포착하지 못하는 discourse-level coherence, narrative structure, temporal logic을 평가
• 11개 open-weight MLLM baseline 실험, seizure-specific fine-tuning 적용, two-stage neuro-symbolic classification framework 구현

Originality

• 비자발적이고 병리적인 운동 행동(발작 semiology)을 다루는 최초의 대규모 dense-annotated clinical video 데이터셋을 구축하여 기존의 목적 지향적 medical video 데이터셋(수술, instructional video)과 차별화
• laterality, 동시 증상, 정밀 시간적 진행 등 발작 진단에 핵심적인 clinically grounded 차원을 반영한 7-task hierarchical benchmark 설계
• 기존 n-gram/구조 기반 지표의 한계를 극복하기 위해 임상 서사 구조와 시간 논리를 반영하는 Seizure-RQI라는 새로운 report 품질 평가 지표 제안
• neuro-symbolic 접근을 도입해 perception 결과를 symbolic reasoning과 결합하여 high F1 성능의 진단 분류를 달성

Limitation & Further Study

• 단일 기관(UCLA EMU)에서 수집된 데이터로, 다양한 인구집단·기관·촬영 환경에 대한 일반화 가능성이 제한될 수 있음
• 116명 환자, 438개 비디오 규모는 여전히 대규모 딥러닝 모델의 사전학습이나 rare seizure subtype에 대한 충분한 커버리지를 담보하기 어려울 수 있음
• annotation 신뢰도(Kappa, Pearson)가 높은 수준이지만 여전히 완전히 객관적이지 않은 주관적 요소가 남아있을 가능성
• 향후 연구로 다기관 데이터 확장, 실시간 임상 배포 검증, 더 다양한 seizure subtype 및 소아 환자 포함 등이 필요

Evaluation

총평: 임상적으로 매우 중요하지만 그동안 간과되어온 발작 semiology에 대한 MLLM 평가라는 공백을 체계적으로 메운 의미 있는 연구로, 데이터셋·benchmark·평가지표·모델 개선까지 포괄적인 기여를 담고 있어 safety-critical 의료 video understanding 분야에 실질적인 이정표가 될 것으로 평가된다.