ViTaL-Diff: Video-Token Latent Diffusion for Contactless Respiratory Monitoring

Motivation

• Known: 기존 video 기반 호흡률(RR) 추정은 optical flow, frame differencing, phase-based analysis 등 classical handcrafted 방법이나 DeepPhys, TS-CAN, PhysNet, EfficientPhys 같은 deterministic deep spatiotemporal 모델을 통해 이루어져 왔으며, diffusion model은 PPG 등 contact-sensor 기반 호흡 파형 추정이나 waveform space에서의 생성에 적용된 바 있다.
• Gap: 기존 방법들은 대부분 각 clip을 단일 waveform 또는 RR 값으로 매핑하는 deterministic 접근에 머물러 있어, 미약하거나 모호한 시각적 증거(조명 변화, occlusion, pose 변화, non-respiratory movement)에 취약하고 불확실성을 정량화하지 못한다. 또한 기존 respiratory diffusion 연구는 주로 contact-sensor 입력이나 원본 waveform space에서 직접 작동하여 video 기반 conditional latent generation을 다루지 않는다.
• Why: 호흡률은 심폐 평가, 수면 모니터링, 신생아 케어, 원격 건강 모니터링에서 핵심적인 vital sign이지만, 접촉 센서는 불편하고 장기 배치가 어려워 video 기반 contactless 대안의 신뢰성과 불확실성 인지 능력을 높이는 것이 임상적·실용적으로 중요하다.
• Approach: video-based respiratory monitoring을 uncertainty-aware conditional latent generative modeling 문제로 정식화하고, video evidence token으로 조건화된 latent diffusion transformer가 respiratory latent token을 생성하여 waveform을 재구성하고 posterior sample variability를 통해 RR 불확실성까지 산출한다.

Achievement

1. 일관된 성능 향상: in-house RGB dataset, AIR-125, low-light Sleep dataset 세 데이터셋 전반에서 classical, deterministic deep learning, waveform-space diffusion baseline 대비 최저 오차를 달성했다.
2. 큰 폭의 MAE 개선: deterministic deep baseline 대비 최대 28.9%의 mean absolute error(MAE) 감소를 보였다.
3. 불확실성 정량화의 실용성 입증: uncertainty 추정치가 시각적으로 모호한 clip을 식별해내며, 별도의 confidence head나 auxiliary supervision 없이도 posterior variability로부터 신뢰도 신호를 제공함을 보였다.

How

• Respiratory Waveform Tokenizer: belt-derived respiratory waveform y를 encoder ER로 압축하여 L개의 latent token z0=ER(y)로 표현하고, decoder DR로 재구성하며 L1 reconstruction loss(Ltok)로 학습한 뒤 encoder/decoder를 freeze한다.
• Video Evidence Encoder: video clip을 spatiotemporal tubelet으로 분할해 visual token으로 임베딩하고, video encoder EV를 통해 respiratory latent와 동일 차원의 M개 evidence token C를 생성하며, temporal positional embedding과 validity mask로 프레임 순서 보존 및 손상 프레임 억제를 수행한다.
• Video-Conditioned Latent Diffusion: forward process로 z0에 Gaussian noise를 추가하여 zt를 생성하고, denoising network fθ가 noisy latent zt, timestep t, evidence C로부터 clean latent ẑ0를 예측하도록 L2 loss(Ldiff)로 학습하며, tokenizer 학습 후 이를 freeze한 2단계 학습을 수행한다.
• Latent Diffusion Transformer: 각 block에서 respiratory latent sequence에 대한 self-attention으로 시간적 의존성을 포착하고, video evidence token에 대한 cross-attention으로 각 respiratory latent token을 관련 시각 증거와 정렬한다.
• Robust Conditioning and Uncertainty Estimation: 학습 시 evidence dropout(비율 ρ)과 확률 puncond로 evidence를 null condition으로 대체하여 classifier-free guidance(가중치 w)를 가능케 하며, 추론 시에는 video만으로 K개 sample을 뽑아 posterior mean waveform ȳ와 RR variance uRR을 계산해 불확실성 신호로 활용한다.

Originality

• video 기반 contactless 호흡 모니터링을 uncertainty-aware conditional latent generative modeling 문제로 처음 정식화함.
• respiratory waveform을 위한 별도의 compact latent tokenizer를 학습한 뒤 그 latent space에서 diffusion을 수행하는 video-token latent diffusion 구조를 제안, 기존 waveform-space diffusion과 차별화됨.
• 별도 confidence head나 auxiliary supervision 없이 diffusion sample의 posterior variability만으로 RR uncertainty를 도출하는 방식을 제시함.

Limitation & Further Study

• 워크숍 논문 특성상 실험 세부사항(모델 크기, hyperparameter, ablation 등)이 본문 발췌에서 충분히 제시되지 않아 재현성 검증이 제한적이다.
• 세 데이터셋 모두 상대적으로 소규모(in-house 50 videos, AIR-125 125 videos)이며 성인/소아, 조명 조건 등 다양성이 제한되어 대규모·다양한 임상 환경에서의 일반화 검증이 필요하다.
• classifier-free guidance의 강도 w, evidence dropout 비율 ρ 등 하이퍼파라미터가 성능에 미치는 민감도 분석이 부족해 보이며, 후속 연구에서 다양한 인구집단 및 실시간 처리 효율성에 대한 검증이 요구된다.

Evaluation

총평: video 기반 contactless 호흡 모니터링을 latent diffusion 기반 generative modeling으로 재정식화하여 정확도와 불확실성 정량화를 동시에 달성한 참신하고 실용적인 접근으로, 세 데이터셋에서의 일관된 성능 향상이 인상적이나 소규모 데이터셋과 제한된 실험 세부사항은 아쉬운 부분이다.