OSF: On Pre-training and Scaling of Sleep Foundation Models

Motivation

• Known: Polysomnography(PSG) 기반 sleep FM은 self-supervised learning(SSL)을 통해 30초 epoch 단위 표현을 학습하며, contrastive learning 기반 접근이 주로 연구되어 수면 단계 분류 및 각성 탐지 등 downstream task에서 좋은 성능을 보여왔다.
• Gap: 기존 연구는 단일 pre-training recipe의 성능 향상만 보고할 뿐, 어떤 pre-training 설계 선택이 cohort shift와 missing-channel 상황에서 실제로 일반화를 개선하는지에 대한 체계적 이해가 부족하며, 완전 공개된 대규모 multi-source 벤치마크도 부재하다.
• Why: 실제 임상 및 가정용 수면 측정 환경에서는 기기와 코호트에 따라 채널 구성이 상이하고 채널 탈락이 빈번하게 발생하므로, 이러한 현실적 제약 하에서도 견고하게 일반화되는 sleep FM을 구축하는 원리를 규명하는 것은 실제 배포 가능성에 직결되는 중요한 문제이다.
• Approach: 저자들은 9개 공개 데이터셋을 통합한 SleepBench를 구축하고 이를 활용해 네 가지 계열의 self-supervised pre-training objective를 통제된 조건에서 비교 분석한 뒤, 이로부터 얻은 통찰을 반영하여 OSF라는 sleep FM 계열을 제안한다.

Achievement

Figure 3. Comparison of inference with full versus missing

1. SleepBench 구축: National Sleep Research Resource(NSRR) 산하 9개 공개 데이터셋(SHHS, NCHSDB, CFS, CCSHS, WSC, MROS, MESA, CHAT, SOF)을 통합해 166,500시간, 21,000개 이상의 야간 기록으로 구성된 최대 규모의 완전 공개 multi-source sleep 벤치마크를 구축했다.
2. Missing-channel 취약성 규명: 기존 sleep FM들이 inference 시 채널 누락(EEG/EOG 또는 respiratory 채널 부재) 상황에서 큰 성능 저하(최대 ∆=9.7)를 보인다는 것을 실증적으로 밝혔다.
3. Channel-invariant 표현 학습의 중요성 규명: 통제된 단계적 분석을 통해 invariance 기반 방법이 강건한 표현을 학습하려면 channel-invariant 특성 학습이 필수적임을 확인했다.
4. Scaling 법칙 확인: 데이터 샘플 수, 모델 용량, multi-source data mixture를 확장할수록 downstream 성능이 일관되게 향상됨을 보였다.
5. OSF 모델 제안 및 SOTA 달성: 개선된 pre-training과 scaling recipe를 적용한 OSF가 9개 데이터셋의 다양한 수면 및 질병 예측 task에서 state-of-the-art 성능을 달성했으며, sample efficiency, hierarchical aggregation, cross-dataset scaling 등 흥미로운 특성도 추가로 확인했다.

How

Figure 4. Illustration of considered augmentations. We consider

• 9개 NSRR 공개 데이터셋을 통합하여 12-channel montage(Brain: EEG/EOG, Respiration, Cardiac: ECG, Somatic: EMG)로 표준화
• 야간 기록에 대해 수동 quality control(각성 구간 트리밍), per-night z-score normalization, 호흡 채널 area-dependent normalization 등 전처리 파이프라인 적용
• 30초 non-overlapping epoch로 분할하여 약 2천만 개 epoch를 pre-training에 사용, 모든 채널을 64Hz로 리샘플링하고 누락 채널은 zero-padding
• in-domain/external cohort로 분리하여 training/validation/test 셋 구성, OOD 평가를 위한 external cohort는 pre-training에서 완전히 제외
• time-wise masking과 channel masking(Figure 4)을 포함한 augmentation 전략을 도입해 missing-channel 시나리오를 시뮬레이션
• 네 가지 계열의 self-supervised objective(contrastive 등)를 통제된 조건에서 비교하는 체계적 ablation 연구 수행
• 위 분석 결과를 반영한 개선된 pre-training 및 scaling recipe로 OSF 모델을 학습, linear probing 및 few-shot 설정에서 sleep staging, arousal detection, disease prediction(고혈압, 당뇨, 관상동맥질환 등) task에 대해 평가

Originality

• 단일 pre-training recipe의 성능 개선 보고에 그치지 않고, 어떤 설계 선택이 실제로 일반화에 기여하는지 통제된 실험으로 규명한 최초의 체계적 연구
• 9개 공개 데이터셋을 아우르는 최대 규모의 완전 오픈소스 multi-source sleep 벤치마크(SleepBench)를 최초로 구축
• missing-channel inference라는 실제 임상/가정용 환경의 현실적 제약을 명시적으로 문제화하고 channel-invariant 학습의 필요성을 실증
• sleep FM에 대한 scaling law(샘플 수, 모델 용량, multi-source mixture)를 체계적으로 검증한 최초의 시도

Limitation & Further Study

• 표준화를 위해 공통 채널 부분집합(12-channel)만 사용하여, 코호트별로 존재하는 특수 채널 정보(예: 특정 장비 고유 센서)의 활용 가능성을 배제했을 수 있음
• 데이터가 모두 NSRR 산하 공개 데이터셋에 국한되어 있어, 실제 임상 현장에서 흔한 비공개 상용 기기 데이터나 비서구권 인구 집단에 대한 일반화는 추가 검증이 필요함
• missing-channel 시뮬레이션이 zero-masking 방식에 기반하는데, 실제 센서 탈락이나 잡음 패턴과는 다를 수 있어 실제 배포 환경에서의 강건성은 추가 실증이 요구됨
• scaling 실험의 상한(모델 크기, 데이터 규모)이 아직 명확히 제시되지 않아, 더 큰 규모에서도 scaling trend가 유지되는지는 후속 연구가 필요함

Evaluation

총평: 단순한 모델 제안을 넘어 sleep FM의 pre-training과 scaling 원리를 체계적으로 규명하고 이를 뒷받침하는 대규모 오픈 벤치마크를 함께 공개한 점에서 학계와 산업 모두에 실질적 기여를 하는 우수한 연구이다.