Multimodal PSG foundation model integrating second to full-night scale

Motivation

• Known: 기존 수면 딥러닝 모델들은 PSG 신호의 짧고 국소적인 segment 분석에 집중해왔으며, masked autoencoding(MAE)이나 contrastive learning(CL) 등 self-supervised learning 기법을 활용한 foundation model 연구도 진행되어 왔다. 임상 연구에서는 수면의 macro-architecture가 장기 건강 및 질병 예후의 중요한 지표임이 밝혀져 있다.
• Gap: 기존 모델들은 특정 task에 특화되어 유연성이 부족하고 전문가 라벨링에 의존해 확장성이 제한되며, 특히 수면의 hour 단위 macro-structure를 적절히 포착하지 못해 개인 맞춤형 임상 진단과 건강 예측에 활용하기 어렵다는 근본적 한계가 있다.
• Why: Second 단위의 국소적 신호 특성과 hour 단위의 전체 수면 구조를 통합적으로 모델링할 수 있다면, 라벨에 의존하지 않으면서도 임상적으로 의미 있는 macro-architecture 정보를 포착하여 개인화된 수면 질환 진단 및 건강 예측의 신뢰성과 일반화 성능을 크게 향상시킬 수 있다.
• Approach: Micro-Encoder(modality-private/shared Transformer 구조)와 Macro-Encoder(bi-directional Mamba)로 구성된 계층적 dual-encoder를 MAE와 multi-modal contrastive learning, 그리고 인구통계 정보를 활용한 Demographic-Guided Contrastive Learning(DGCL)으로 사전학습하는 방식을 제안한다.

Achievement

1. 대규모 PSG foundation model 구축: 20,964건, 158,028시간에 달하는 대규모 PSG 데이터셋으로 PSG-M&m을 사전학습하여 기존 foundation model 대비 우수한 성능을 확보하였다.
2. Hierarchical dual-encoder 아키텍처 제안: modality-private/shared encoder 기반 Micro-Encoder와 bi-directional Mamba 기반 Macro-Encoder를 결합하여 second 단위와 hour 단위 정보를 동시에 학습 가능하게 하였다.
3. Demographic-Guided Contrastive Learning(DGCL) 개발: 나이, 성별, BMI 등 객관적 인구통계 정보를 supervisory signal로 활용해 라벨링 불일치 문제 없이 macro-structure 표현을 정제하였다.
4. Downstream task 일반화 성능 향상: few-shot 평가 등을 통해 다양한 임상 task에서 기존 foundation model 대비 향상된 일반화 성능을 입증하였다.

How

• Micro-Encoder: modality별 convolutional embedding으로 raw biosignal을 patch화한 뒤, modality-private encoder(계층적 temporal abstraction)와 Mixture-of-Experts(MoE) 기반 modality-shared encoder의 dual-pathway Transformer 구조로 처리
• Cross-attention을 통해 shared/private 출력을 융합한 뒤 decoder로 masked segment를 복원(MAE)
• Shared encoder embedding에 대해 contrastive learning 적용: 동일 시간대 여러 modality 평균을 positive pair로, temporal negative pair 및 representation negative pair를 정의, KoLeo regularization 추가
• 최종 손실은 reconstruction loss, contrastive loss, KoLeo loss의 합으로 구성
• Macro-Encoder: 사전학습된 Micro-Encoder가 산출한 epoch-level embedding 시퀀스를 bi-directional Mamba layer로 처리하여 장기 의존성 학습
• DGCL: 전체 야간 시퀀스를 90분 간격으로 분할하고, 나이·BMI·성별 기반 demographic distance(d_{i,j})로 계산한 soft-target 가중치를 이용한 weighted contrastive loss(forward/backward Mamba)를 적용해 macro representation을 정제

Originality

• Second 단위 micro-structure와 hour 단위 macro-structure를 하나의 통합 foundation model 프레임워크에서 계층적으로 결합한 최초의 시도로 보임
• 전문가 라벨 없이 객관적 인구통계 정보(age, sex, BMI)를 supervisory signal로 활용하는 Demographic-Guided Contrastive Learning이라는 새로운 self-supervised 기법 제안
• Bi-directional Mamba를 장시간 PSG 시퀀스의 macro-structure 모델링에 적용한 점, 그리고 modality-private/shared encoder와 MoE를 결합한 hybrid MAE+CL 학습 전략의 조합이 독창적

Limitation & Further Study

• 초록 및 발췌 본문에서 구체적 downstream task 종류, 비교 baseline foundation model, 정량적 성능 수치가 명확히 제시되지 않아 실제 성능 우위의 정도를 판단하기 어려움
• Demographic distance 계산에서 나이·BMI·성별만을 사용하는데, 이는 인종, 기저질환, 약물 복용 등 수면 구조에 영향을 미치는 다른 중요 변수를 배제할 가능성이 있음
• 20,964건의 대규모 데이터가 특정 기관이나 인구 집단에 편중되어 있을 경우 일반화 성능에 대한 검증이 추가로 필요함
• 후속 연구로는 다양한 임상 task(수면무호흡증, 불면증 등)에 대한 세부 성능 비교와, 인구통계 외 추가적 임상 변수를 포함한 DGCL 확장이 필요해 보임

Evaluation

총평: Second 단위 미세 신호와 hour 단위 거시 구조를 통합한 계층적 PSG foundation model과 인구통계 기반 contrastive learning은 수면 분석 분야에서 신선하고 임상적으로 의미 있는 접근이나, workshop 논문 특성상 실험적 검증과 구체적 성능 비교가 더 보강될 필요가 있다.