A robust PPG foundation model using multimodal physiological supervision

Motivation

• Known: PaPaGei 같은 기존 PPG foundation model은 open-source ICU 데이터를 사용하지만 morphological feature 추출을 위한 정교한 curation과 preprocessing이 필요해 field-like noisy 데이터로의 일반화가 어렵고, 반면 closed-source field-like PPG 데이터를 활용하는 접근법(예: Abbaspourazad et al., SensorLM)은 재현성과 확장성이 떨어진다.
• Gap: 기존 unimodal self-supervised 방법(morphology-based contrastive learning, temporal/participant-based contrastive learning, JEPA 등)은 noisy PPG segment에서 slow-frequency artifact에 집중하거나 정확한 feature 추출이 어려워 정보 손실이나 잘못된 supervision이 발생하며, curated clean 데이터 없이 noisy clinical PPG로부터 강건한 표현을 학습하는 open-source·재현가능한 방법이 부재하다.
• Why: 웨어러블 기기는 소형·저전력 제약으로 신호 품질이 낮아지므로, denoising이나 morphological feature 추출 없이도 noisy 실사용(field-like) PPG에 강건하게 일반화되는 foundation model이 임상 및 소비자용 헬스 모니터링 확산에 핵심적이다.
• Approach: ICU 데이터셋에서 PPG와 함께 기록된 ECG, RESP 신호로부터 5차원 metric을 추출하여 이를 기준으로 contrastive pair를 선택하는 multimodal-guided contrastive pretraining framework를 제안하고, inference 시에는 PPG만 입력으로 사용한다.

Achievement

Figure 2. Comparison with state-of-the-art. (Left) Classification results in terms of their macro F-1 score (larger area

1. 적은 데이터로 SOTA 능가: 기존 SOTA 대비 3배 적은 subject 수로 pretraining했음에도 15개 downstream task 중 14개에서 성능 향상을 달성했다.
2. field-like 일반화 입증: WildPPG 등 daily activity 및 heart rate prediction과 같은 field-like task에서도 강건한 성능을 보여, ICU 데이터만으로 pretraining했음에도 consumer-grade 데이터로 일반화됨을 입증했다.
3. 새로운 평가 프로토콜 제시: within-subject linear probing이라는 보완적 평가 방식을 도입해 subject별 세밀한 표현 평가와 기존 cross-subject 평가로는 드러나지 않는 일반화 특성을 밝혔다.
4. 재현 가능한 open-source 파이프라인 구축: closed-source 데이터 의존 없이 open-source ICU 데이터만을 사용하고 pretraining에 사용한 정확한 데이터 파일 목록을 공개하여 재현성과 확장성을 확보했다.

How

Figure 1. Multimodal contrastive supervision framework. (Left) The electrocardiogram (ECG) and respiratory (RESP) data c

• ECG와 RESP 신호를 PPG와 함께 10초 window로 segment화하고, 각 window에서 5개의 metric을 추출해 5차원 vector로 요약한다.
• 이 metric vector를 이용해 contrastive learning 시 positive/negative sample을 선택하는 기준으로 삼아, PPG 자체의 morphology나 denoising 없이도 physiologically grounded supervision을 구성한다.
• pretraining에는 PPG, ECG, RESP를 모두 활용하지만 inference 시에는 PPG만 입력하여 다양한 wearable 기기와 호환 가능한 unimodal deployment 구조를 유지한다.
• 15개의 다양한 downstream task(예: hypertension classification, blood pressure regression, heart rate estimation, WildPPG field 데이터 기반 task 등)에 대해 5개의 강력한 baseline(PaPaGei 등)과 비교 평가한다.
• within-subject linear probing이라는 새로운 평가 프로토콜을 도입해 subject-specific 표현 품질을 추가로 분석한다.

Originality

• 기존 PPG foundation model들이 clean/curated 데이터 또는 closed-source field 데이터에 의존했던 것과 달리, ICU의 open-source noisy 데이터를 그대로 활용하면서 co-recorded ECG/RESP를 supervisory signal로 사용하는 새로운 multimodal contrastive sample selection 전략을 제시했다.
• 학습에는 multimodal 데이터를 사용하지만 배포(inference)는 PPG unimodal로 제한하는 설계를 통해 실제 wearable 배포 제약을 반영한 실용적 접근을 취했다.
• within-subject linear probing이라는 새로운 평가 프로토콜을 제안해 기존 cross-subject 평가만으로는 드러나지 않는 일반화 특성을 분석 가능하게 했다.

Limitation & Further Study

• pretraining이 단일 ICU 데이터셋에 국한되어 있어, 다양한 임상 환경이나 인구 집단(피부색, 체성분 등)에 따른 편향 가능성에 대한 검증이 제한적일 수 있다.
• ECG와 RESP에서 추출한 5차원 metric의 설계가 contrastive sample selection의 질을 좌우하는데, 이 metric 선택의 민감도나 대안적 metric에 대한 분석이 부족해 보인다.
• 15개 downstream task 중 1개에서는 성능이 향상되지 않았는데, 어떤 조건에서 이 접근법이 실패하는지에 대한 심층 분석이 추가되면 좋을 것이다.
• 후속 연구로는 다양한 ICU 데이터셋 및 인구통계학적 다양성을 반영한 pretraining, 그리고 다른 wearable-specific noise(모션 아티팩트 등)에 대한 강건성 심층 평가가 필요하다.

Evaluation

총평: 단순하지만 효과적인 multimodal supervision 아이디어를 통해 재현 가능한 open-source 데이터만으로 강건한 PPG foundation model을 구축했다는 점에서 실용적 기여가 크며, wearable 및 임상 응용 모두에 의미 있는 진전을 보여준다.