Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge

Motivation

• Known: SzCORE 프레임워크는 EEG 데이터셋 포맷(BIDS-EEG, HED-SCORE), 평가 방법론, event-based scoring 기반 성능 지표(sensitivity, precision, F1-score, FP/24h)를 표준화하여 seizure detection 알고리즘 간 직접 비교를 가능하게 한다. 기존 리뷰 논문들(Miltiadous et al., Shoeibi et al. 등)은 다양한 데이터셋과 평가 방식으로 인해 알고리즘 간 직접 비교가 불가능함을 지적해왔다.
• Gap: SzCORE는 self-evaluation을 위한 일관된 방법론은 제공하지만 private dataset 상에서 여러 알고리즘을 동시에 submission·evaluation할 수 있는 파이프라인은 부재했으며, 문헌에서 보고되는 높은 성능이 unseen patient population에 배포될 때 실제로 얼마나 저하되는지에 대한 대규모 직접 비교 연구가 없었다.
• Why: Manual EEG review가 여전히 표준 치료로 남아있는 상황에서, 임상에서 실제로 신뢰할 수 있는 seizure detection 알고리즘을 개발하려면 self-reported efficacy와 hold-out 성능 간의 격차를 정량화하고 표준화된 벤치마킹 인프라를 구축하는 것이 필수적이다.
• Approach: 2025 International Conference on Artificial Intelligence in Epilepsy and Neurological Disorders와 연계하여 커뮤니티 전체 챌린지를 조직하고, Docker 컨테이너화된 pre-trained 알고리즘 28개를 수집하여 strictly held-out private EEG 데이터셋에서 SzCORE 기반 event-based metric으로 평가하였다.

Achievement

1. 대규모 독립 평가 수행: classical feature engineering부터 modern Deep Learning까지 28개 state-of-the-art 알고리즘을 65명 피험자, 4,360시간 규모의 private hold-out 데이터셋에서 평가함.
2. 최고 성능의 한계 규명: 최고 F1-score가 32%(sensitivity 37%, precision 29%)에 불과함을 보여 현재 ML 방법론이 여전히 이 과제를 어려워함을 실증함.
3. peak 성능과 population-level 안정성 간 불일치 발견: 가장 높은 aggregate F1-score를 달성한 알고리즘이 피험자 전반에 걸쳐 가장 일관된 순위를 보이지는 않아, outlier 환자에 대한 높은 성능 분산과 실패 취약성을 확인함.
4. self-reported 성능과 실제 hold-out 성능 간 격차 노출: 독립적 평가를 통해 문헌 보고 효능과 실제 배포 성능 사이의 상당한 괴리를 정량적으로 드러냄.
5. 지속 가능한 오픈 벤치마킹 플랫폼 구축: 평가 인프라를 계속 운영되는 open benchmarking platform으로 전환하여 지속적 submission과 추가 private dataset 통합을 지원함.

How

• 커뮤니티 전체 챌린지를 통해 알고리즘을 Docker image 형태로 표준화된 input(.edf, 19-electrode 10-20 system, 256Hz)/output(HED-SCORE compliant .tsv) 규격에 맞춰 수집
• 공개 데이터셋(Physionet CHB-MIT, Siena Scalp EEG, TUH EEG Sz Corpus) 변환 코드를 제공하여 baseline 개발 지원
• 65명 피험자, 4,360시간의 strictly held-out private EEG 데이터셋(전문 neurophysiologist가 seizure event ground truth 주석)에서 알고리즘 평가
• SzCORE 프레임워크의 event-based scoring으로 TP/FP/FN을 산출하고 sensitivity, precision, F1-score, FP/24h 계산
• mean rank와 F1 score 간 trade-off 분석, post-hoc Nemenyi test를 통한 pairwise 통계적 비교 수행
• 기존 챌린지 및 commercial system과의 비교 분석 수행

Originality

• 단순 문헌 리뷰나 개별 논문의 자가 보고 성능 비교가 아닌, Docker 기반 blind submission과 strictly held-out private dataset을 이용한 최초의 대규모 직접 비교 실험 설계
• SzCORE 표준화 프레임워크를 실제 대규모 챌린지 형태로 확장하여 알고리즘 간 공정한 비교를 최초로 실현
• 평가 인프라를 일회성 챌린지가 아닌 지속적으로 개방된 benchmarking platform으로 전환하여 임상 기관도 활용 가능하도록 설계

Limitation & Further Study

• 최고 F1-score가 32%에 불과해 여전히 실제 임상 적용에는 크게 부족하며, 어떤 요인이 outlier patient에서의 실패를 유발하는지에 대한 심층 원인 분석이 부족함
• 알고리즘 학습에 사용된 private/public 데이터셋 조합이 참가자마다 상이하여 성능 차이가 아키텍처 자체의 우수성 때문인지 학습 데이터 차이 때문인지 완전히 분리하기 어려움
• 65명 피험자로 구성된 단일 private hold-out 데이터셋만을 사용하여, 다양한 임상 환경(다른 병원, 다른 인구집단)에 대한 일반화 가능성은 추가 검증이 필요함
• 향후 연구로 플랫폼에 지속적으로 다양한 private dataset을 통합하고, 실패 사례에 대한 세부적 오류 분석 및 원인 규명이 요구됨

Evaluation

총평: Seizure detection 분야의 고질적 문제인 generalization gap을 대규모 독립 벤치마크를 통해 실증적으로 정량화하고, 지속 가능한 오픈 플랫폼으로 발전시킨 점에서 임상 AI 검증 방법론에 중요한 기여를 하는 연구이다.