EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation and Diagnostic Analyses of EEG Foundation Models

Motivation

• Known: EEG-FM은 CV·NLP의 대규모 사전학습 성공에 힘입어 BENDR, LaBraM, EEGPT, CBraMod, CSBrain, REVE 등으로 빠르게 발전해왔으며, 각 모델은 서로 다른 tokenization, architecture, pre-training objective를 채택하고 있다.
• Gap: 기존 평가들은 모델마다 상이한 downstream dataset, 전처리 파이프라인, fine-tuning 전략(frozen backbone, two-stage fine-tuning, dataset-specific classifier 등)을 사용해 cross-architecture 비교가 신뢰할 수 없고, gradient relation이나 representation evolution 같은 내부 메커니즘 분석이 부재하여 scaling이 downstream 성능 향상으로 이어지지 않는 이유가 불명확하다.
• Why: 표준화되고 재현 가능한 평가 체계가 없으면 EEG-FM 분야의 progress를 신뢰성 있게 측정할 수 없고, 어떤 설계 선택(objective, adaptation 방식, architecture)이 실제로 transfer 성능에 기여하는지 알 수 없어 향후 모델 개발 방향을 제시하기 어렵다.
• Approach: 14개 데이터셋과 10개 EEG paradigm을 아우르는 통합 오픈소스 벤치마크를 구축하고, 다양한 fine-tuning 전략·task 구성·classifier 설정을 표준화된 프로토콜 하에 비교하며, gradient 및 representation 분석 도구를 결합해 진단적 분석을 수행한다.

Achievement

1. 표준화된 벤치마크 구축: 14개 데이터셋(10개 paradigm), 3가지 fine-tuning 전략(frozen-backbone, full-parameter, LoRA), single-task/multi-task 구성, 3가지 classifier 설정을 통일된 데이터 처리·평가 프로토콜 하에 통합하여 BIOT, BENDR, LaBraM, EEGPT, CBraMod, CSBrain, REVE 및 general time-series model인 Mantis, Moment 등 9개 모델을 공정하게 비교했다.
2. 멀티태스크 학습의 정규화 효과 규명: multi-task fine-tuning이 데이터가 부족한 EEG 환경에서 overfitting을 완화하는 regularizer로 작용하지만, 특정 paradigm에서는 negative transfer를 유발할 수 있음을 확인했다.
3. pre-training 효율성 병목 진단: gradient cosine similarity, subspace affinity, CKA, RSA 등을 활용해 reconstruction objective와 downstream task 간 gradient conflict가 pre-training 효율을 제한하는 핵심 원인임을 밝혔다.
4. scale 이상의 요인 규명: 공개된 checkpoint와 동일한 downstream 프로토콜 하에서 모델·데이터 규모만으로는 transfer 성능을 설명할 수 없으며, objective alignment, adaptation compatibility, EEG-specific design이 중요한 요인임을 보였다.

How

• 14개 데이터셋(motor imagery, sleep staging, emotion recognition, disease diagnosis 등 10개 paradigm)을 통일된 전처리 파이프라인으로 구성
• 3가지 fine-tuning 전략(frozen-backbone, full-parameter, LoRA), 2가지 task setup(single-task, multi-task), 3가지 classifier configuration(average pooling, attention pooling, temporal-spatial-embedding aggregation)의 조합 실험 설계
• 7개 사전학습 EEG-FM(BIOT, BENDR, LaBraM, EEGPT, CBraMod, CSBrain, REVE)과 2개 general time-series model(Mantis, Moment)을 평가 대상으로 채택
• gradient cosine similarity와 subspace affinity를 이용한 cross-task gradient/optimization dynamics 분석
• CKA(Centered Kernel Alignment)와 RSA(Representational Similarity Analysis)를 이용한 layer-wise intermediate representation 분석
• 모든 파이프라인과 분석 도구를 하나의 오픈소스 코드베이스로 통합하여 재현성 확보

Originality

• 단순 성능 리더보드가 아니라 gradient 및 representation 분석 도구를 결합한 진단적(diagnostic) 벤치마크를 EEG-FM 분야 최초로 제안
• fine-tuning 전략, task organization, classifier configuration을 각각 독립 변인으로 통제하는 다차원적 실험 설계를 통해 공정한 비교 프로토콜을 확립
• multi-task learning의 regularization 효과와 negative transfer를 EEG 특유의 paradigm 관점에서 정량적으로 규명
• pre-training objective와 downstream task 간 gradient conflict라는 관점에서 scaling law의 한계를 설명하는 새로운 진단 지표(subspace affinity 등) 제시

Limitation & Further Study

• 평가 대상 모델이 공개 checkpoint에 국한되어 사전학습 데이터·하이퍼파라미터의 완전한 재현 및 통제가 어려울 수 있음
• 14개 데이터셋과 9개 모델이라는 범위 내에서의 결론이므로, 더 큰 규모의 미공개 모델이나 새로운 paradigm에 대한 일반화 가능성은 후속 검증이 필요
• gradient conflict 및 objective alignment에 대한 진단 결과가 상관관계 수준에 머물러, 이를 해결하는 구체적 pre-training objective 설계나 conflict-aware optimization 기법 제안은 향후 연구로 남겨둠
• multi-task 구성에서의 negative transfer를 완화할 task grouping 전략에 대한 심층 탐구가 추가로 필요

Evaluation

총평: EEG-FM 평가의 파편화 문제를 정면으로 다루며 표준화된 프로토콜과 진단 도구를 결합한 실질적이고 시의적절한 벤치마크로, EEG 기초모델 연구 커뮤니티에 재현성과 해석 가능성 측면에서 중요한 기여를 한다.