LaMbDA: Diffusion-Step Alignment for Learning Robust Cross-Modal Representations in Time Series

Motivation

• Known: Conditional diffusion model은 한 modality로부터 다른 modality를 재구성/보완하는 데 널리 쓰이며(Sohl-Dickstein et al., DDPM 등), contrastive learning(SimCLR, CPC)이나 redundancy reduction(Barlow Twins, VICReg), deep CCA 등의 multiview alignment 기법이 대표 representation을 정렬하는 데 사용되어 왔다.
• Gap: 기존 conditional diffusion 연구들은 대부분 단방향 매핑에 초점을 맞추며, 건강 센서 데이터처럼 두 modality가 상호 예측 가능한 bidirectional 관계를 가질 때 두 denoising process가 동일한 국소적 시간 위상(local temporal phase)과 dynamics를 공유해야 한다는 사실을 활용하지 않는다. 또한 기존 multiview alignment 기법들은 정적인 공유 표현 공간을 학습하거나 명시적 multiview generative model을 도입하는 방식이라 diffusion의 step별 중간 표현 구조에 맞지 않는다.
• Why: 헬스케어 분야에서는 웨어러블, 모션캡처, 힘판 등 이종 센서로부터 얻은 데이터가 흔히 결측·잡음·비용 문제를 가지며, 한 modality로 다른 modality를 신뢰성 있게 재구성/대체하는 능력이 임상적으로 중요하다. 특히 sampler나 추론 인터페이스를 바꾸지 않고도 성능을 개선할 수 있는 경량 정렬 기법은 실용성이 높다.
• Approach: 두 개의 conditional DDPM(pθ(X|Y), pϕ(Y|X))을 동시에 학습하면서, 동일한 diffusion step에서 얻어진 인코더 latent를 시간적으로 매칭된 window 단위로 windowed sequence-contrastive loss(Lcon)와 covariance-matching loss(Lcov)로 정렬하는 LAMBDA 목적함수를 제안한다.

Achievement

Figure 2. Comparison of real (black) and generated trajectories

1. Cross-modal 생성 품질 향상: 보행 데이터의 여섯 가지 conditional 방향 모두에서 FID(분포 유사도)가 개선되었고 대부분의 modality 쌍에서 MSE가 개선되거나 동등했다. 가장 이질적인 angles-GRF 쌍에서 가장 큰 개선을 보였다(FID 66.7→40.4, 24.8→5.8; predictive score 0.30→0.16).
2. 합성 dynamical system에서의 일반화 확인: Lorenz attractor와 double pendulum(비카오스/약한 카오스 영역) 등 통제된 dynamics에서도 동일한 정렬 효과가 관찰되어, 특정 데이터셋에 국한되지 않는 유용한 inductive bias임을 시사한다.
3. 추론 시 오버헤드 없는 경량 정렬: LAMBDA는 학습 시에만 작동하며, projection head나 matching network를 추론 단계에서 유지하지 않아 sampler, 메모리 사용량, conditional interface를 변경하지 않는다.
4. 표현 학습 품질 개선: diffusion encoder 출력을 고정한 뒤 downstream classifier로 probing했을 때도 정렬된 표현이 더 우수한 성능을 보였다.

How

Figure 1. Training and sampling overview. Paired conditional denoisers generate X from Y and Y from X. During training,

• Xi, Yi 쌍에 대해 variance schedule {βt}로 forward noising 수행(식 1,2)
• 각 denoiser는 조건 인코더 gX, gY를 이용해 clean conditioning 신호로부터 노이즈 제거된 X̂0, Ŷ0 예측
• 기본 bidirectional denoising loss Lden = ||X0-X̂0||²+||Y0-Ŷ0||² 사용
• step-indexed latent ZX,t=hX(Xt,t), ZY,t=hY(Yt,t)를 P개의 시간적으로 매칭된 window(길이 S)로 분할
• 1차 항 Lcon: cosine similarity 기반 temporal contrastive loss로 매칭된 window는 가깝게, 불일치 window(미니배치 내 다른 시퀀스 포함)는 멀게 학습
• 2차 항 Lcov: 대응되는 window의 local covariance 구조 차이를 Frobenius norm으로 매칭
• 전체 손실 L = Lden + λ(Lcon+Lcov), λ는 학습 가능한 파라미터
• 정렬은 학습 시에만 수행되고 추론 시 표준 reverse diffusion 절차 사용
• 보행 데이터(Embry et al., 2018)의 joint angles, joint moments, GRF 세 modality 쌍과 Lorenz attractor, double pendulum 합성 시스템에서 transformer 기반 DDPM 백본으로 실험, MSE, 시계열 적응 FID, predictive score, representation probing accuracy로 평가하며 참가자·조건 단위 train-test split으로 일반화 성능 측정

Originality

• 양방향 conditional diffusion model 두 개를 동시에 학습하며 diffusion step 단위로 중간 latent를 정렬한다는 아이디어는 기존 단일 방향 diffusion 연구나 정적 표현 공간을 학습하는 multiview alignment 기법과 차별화된다.
• Takens의 delay-coordinate embedding 이론(Sauer et al., 1991)에 기반해 local window 간 상호 재구성 가능성을 이론적으로 정당화하며, 명시적 shared latent-variable model 없이도 정렬을 유도한다는 점이 독창적이다.
• 추론 시 추가 모듈이나 오버헤드 없이 학습 목적함수만 변경한다는 설계는 실용적 배포 관점에서 참신하다.

Limitation & Further Study

• 발췌된 본문 기준으로 baseline 비교가 "정렬 없는 동일 backbone"에 국한되어 있어, SimCLR·Barlow Twins·VICReg 등 기존 alignment 기법과의 직접적 정량 비교(본문에서 언급은 되었으나 구체적 수치가 제시되지 않음)가 부족해 보인다.
• λ가 학습 가능한 파라미터로 설정된다고 하지만 이의 초기화, 수렴 안정성, 민감도 분석에 대한 설명이 부족하다.
• window 크기 S, 학습 단계 t의 샘플링 방식이 성능에 미치는 영향에 대한 ablation이 본문에서 명확히 제시되지 않았다.
• 보행 데이터 한 종류와 두 개의 합성 dynamical system에 국한되어 있어, 더 다양한 헬스케어 modality(예: ECG-PPG, EEG-fMRI 등)로의 일반화 가능성 검증이 후속 연구로 필요하다.
• diffusion step 전 범위(t=1..T)에 걸친 정렬 효과의 변화(초기/후기 단계 별 영향)에 대한 분석이 아쉽다.

Evaluation

총평: 양방향 conditional diffusion model의 중간 latent를 diffusion step 단위로 정렬한다는 아이디어는 간단하지만 이론적 근거와 실증적 개선이 뒷받침되어 헬스케어 시계열 분야에 실용적으로 기여할 수 있는 연구이다. 다만 baseline 비교의 폭과 ablation 분석이 더 보강되면 완성도가 높아질 것이다.