BioFormer: Rethinking Cross-Subject Generalization via Spectral Structural Alignment in Biomedical Time-Series

Motivation

• Known: 기존 연구들은 Transformer 기반 backbone의 표현력 강화나 subject adversarial learning(GRL 기반)을 통해 subject-specific variability를 암묵적으로 억제해왔다.
• Gap: 기존 방법들은 subject-specific variability를 implicit nuisance로 취급할 뿐, 무엇을 억제해야 하는지에 대한 명시적 모델링이 부재하여 invariance objective를 제어하기 어렵고 label-relevant structure까지 함께 제거될 위험이 있다.
• Why: Cross-subject generalization은 EEG/ECG 등 임상 응용에서 학습 대상 subject와 평가 대상 subject가 다를 때 실제 배포 성능을 좌우하는 핵심 문제이며, subject variability의 본질을 규명하는 것은 모델 설계와 해석가능성 모두에 중요하다.
• Approach: 같은 label을 가진 BTS 신호들은 유사한 global spectral pattern을 공유하지만 특정 주파수 대역에서 subject-dependent한 magnitude/phase drift를 보인다는 관찰(spectral drift)에 기반하여, 이를 Fourier domain에서 적응적으로 정렬하는 FBAM과 sample 통계 기반 정규화 SCLN을 Transformer backbone에 결합한다.

Achievement

Figure 5. Cross-subject evaluation of alignment domains. F1

1. spectral drift 개념 제안: subject-specific variability를 band-wise magnitude scaling과 phase rotation으로 이루어진 label-conditioned spectral transformation으로 정량적으로 특성화하고 이를 정렬 문제로 재정식화했다.
2. BioFormer 아키텍처 설계: FBAM(cross-attention 기반 band-wise modulation)과 SCLN(subject identity 없이 sample 통계로부터 정규화 파라미터 추론)을 결합한 hybrid spectral-temporal Transformer를 구축했다.
3. 광범위한 실증 검증: 6개 BTS benchmark에서 12개 baseline 및 6개 domain generalization 방법 대비 rank-1 성능을 달성하고 F1-score 기준 최대 6%의 절대적 개선을 보였다.

How

Figure 3. Overall architecture of BioFormer. The model consists of four main components: (1) a Pyramid Convolutional Emb

• Fourier domain에서 신호를 band-wise spectral descriptor로 압축 추출
• 학습 가능한 band token과 spectral descriptor 간 cross-attention을 통해 task-aware한 amplitude/phase modulation 계수를 생성 (FBAM)
• 도출된 modulation factor로 진폭과 위상을 적응적으로 조정하여 spectral structure를 정렬, subject-dependent 변동을 완화
• Sample-Conditional Layer Normalization(SCLN)을 통해 subject identity 대신 개별 sample의 intrinsic signal statistics로부터 normalization parameter를 추론하여 잔차 분포 이동을 보정
• FBAM과 SCLN을 Transformer 기반 backbone에 통합해 BioFormer 구성
• 6개 BTS 데이터셋(APAVA 등 포함)에서 cross-subject protocol 하에 12개 baseline 및 6개 DG 방법과 비교 실험 수행

Originality

• subject variability를 시간 영역이나 latent feature 정렬이 아닌 frequency domain의 구조적 drift(magnitude/phase)로 명시적으로 정의한 새로운 관점 제시
• 기존 adversarial invariance나 generic feature matching과 달리, band-wise spectral descriptor와 cross-attention을 이용해 task-aware하게 modulation을 학습하는 FBAM 설계
• subject label supervision 없이 sample 고유 통계만으로 정규화 파라미터를 추론하는 SCLN을 통해 subject-agnostic한 안정화 메커니즘 제안

Limitation & Further Study

• spectral drift가 magnitude scaling과 phase rotation으로 근사 가능하다는 가정이 모든 BTS 신호 유형(비정상적, 비선형적 신호 등)에 일반화되는지에 대한 이론적 보장이 부족할 수 있음
• FBAM의 band 분할 방식과 band token 개수 등 hyperparameter에 대한 민감도 분석이 충분히 다뤄지지 않았을 가능성이 있음 (본문 발췌만으로 확인 어려움)
• 6개 데이터셋에 대한 실험이지만 대부분 EEG/ECG 계열에 집중되어 있어, 더 다양한 생체신호(EMG, PPG 등)나 실제 임상 배포 환경에서의 일반화 검증이 후속 연구로 필요
• subject 수가 매우 적거나 label 분포가 극단적으로 불균형한 상황에서의 강건성 검증이 추가로 요구됨

Evaluation

총평: subject-specific variability를 spectral drift라는 새로운 프레임으로 명시적으로 정의하고 이를 정렬하는 실용적 모듈(FBAM, SCLN)을 제안한 점이 참신하며, 광범위한 실험을 통해 그 효과를 검증한 완성도 높은 연구이다.