SleepLM: Natural-Language Intelligence for Human Sleep

Motivation

• Known: 기존 수면 분석 모델들은 closed label space(예: 정해진 sleep stage나 event)에 국한된 discriminative 모델로 sleep staging, event detection 등에서 강력한 표현력을 보였으며, 일반 시계열 foundation model과 CLIP, CoCa 같은 vision-language alignment 기법들이 발전해왔다.
• Gap: 기존 sleep foundation model은 unimodal이고 분류에 최적화되어 새로운 개념을 설명하거나 open-ended query에 대응할 수 없고, 반대로 LLM/VLM은 고차원 연속 생리신호(PSG)를 다루는 데 근본적으로 취약하여 sleep 관련 zero-shot 성능이 매우 낮다.
• Why: 수면은 심혈관·신경·대사 건강의 핵심 biomarker를 담고 있어 이를 언어로 해석·질의할 수 있게 되면 수면 건강의 대중화, 개인 맞춤형 모니터링, 고정된 범주를 넘어서는 임상 분석이 가능해지기 때문에 중요하다.
• Approach: SleepLM은 multilevel sleep captioning pipeline으로 대규모 sleep-text 데이터셋을 구축하고, contrastive alignment, caption generation, signal reconstruction을 결합한 통합 사전학습 목표(ReCoCa)를 통해 PSG와 언어를 정렬하는 foundation model이다.

Achievement

1. 대규모 sleep-text 데이터셋 구축: 100,000시간 이상, 10,000명 이상의 데이터를 포함하는 최초의 대규모 paired sleep-text 데이터셋을 자동 captioning pipeline으로 구축했다.
2. SleepLM 모델 제안: 자연어를 통한 수면 정렬, 해석, 상호작용을 지원하는 최초의 sleep-language foundation model 계열을 설계했다.
3. ReCoCa 아키텍처 제안: contrastive alignment, caption generation, signal reconstruction을 결합한 범용 multimodal pretraining objective를 제시했다.
4. SOTA 대비 우수한 성능: zero-shot 및 few-shot learning, cross-modal retrieval, sleep captioning 등 다양한 실제 수면 이해 과제에서 기존 최고 성능 모델들을 능가함을 실험으로 입증했다.
5. 새로운 능력 발현: language-guided event localization, targeted insight generation, 미지 개념에 대한 zero-shot 일반화 등 기존 모델에서 볼 수 없던 novel capability를 보였다.

How

• 3단계 계층적(hierarchical) captioning pipeline을 설계: channel captions(채널별 통계적 특징), local captions(시간적 미세 사건, 예: 수면 event onset/duration), global captions(전체 sleep stage 및 생리 상태)로 구성
• 이를 통해 각 PSG epoch마다 다층적 자연어 설명을 자동 생성, 100K시간 이상/10,000명 이상 규모의 sleep-text 페어 데이터셋 구축
• ReCoCa라는 통합 pretraining 아키텍처를 설계하여 contrastive alignment(신호-텍스트 정렬), caption generation(설명 생성), signal reconstruction(생리학적 충실도 보존)을 결합
• Gemini 2.5 Pro, DeepSeek-R1, LLaVA-Next, MAE, SimCLR 등 SOTA LLM/VLM/self-supervised 모델과 비교하여 zero-shot, few-shot, retrieval, captioning 등 다양한 downstream task에서 성능 검증
• language-guided event localization, targeted insight generation, unseen concept에 대한 zero-shot 일반화 등 emergent capability를 정성적/정량적으로 시연

Originality

• 수면 도메인에 자연어 기반 open-ended interpretation을 처음으로 도입하여 closed label space의 한계를 근본적으로 극복하는 패러다임 전환을 제시함
• CLIP, CoCa 등 vision-language alignment 개념을 다중채널·장시간 생리신호(PSG)에 특화된 형태로 확장한 최초의 sleep-specific captioning pipeline 및 ReCoCa 아키텍처 설계
• 채널/로컬/글로벌 세 가지 의미적·시간적 granularity를 아우르는 multilevel captioning이라는 독창적 데이터 생성 방식으로 최대 규모의 paired sleep-text corpus를 구축함

Limitation & Further Study

• Caption이 자동 생성 pipeline에 의존하므로 생성된 caption의 임상적 정확성과 편향 가능성에 대한 심층 검증이 추가로 필요함
• 100K시간, 10,000명 규모의 데이터가 특정 인구집단이나 수집 환경(장비, 프로토콜)에 편중되어 있을 가능성이 있어 일반화 가능성에 대한 추가 검증이 요구됨
• Zero-shot 및 few-shot 실험이 제한된 unseen concept 범위에서 이루어졌을 가능성이 있어, 더 다양한 임상적 novel phenomena에 대한 확장 검증이 필요함
• 향후 연구로는 실제 임상 워크플로우에서의 활용성 검증, 다양한 언어/문화권 데이터로의 확장, 그리고 모델의 해석 가능성 및 신뢰성 향상이 필요함

Evaluation

총평: 수면 생리신호와 자연어를 정렬하는 최초의 foundation model이자 대규모 데이터셋을 함께 제시한 매우 시의적절하고 임팩트 있는 연구로, closed label space의 한계를 넘어서는 패러다임 전환을 실질적 실험으로 뒷받침한 점이 인상적이다.