Relative Entropy Estimation in Function Space: Theory and Applications to Trajectory Inference

Motivation

• Known: 기존 TI 방법들(OT, SDE, Schrödinger Bridge 기반 등)은 held-out marginal 예측 정확도로 평가되어 왔으며, 이는 유한한 시점에서 관측된 marginal distribution만을 비교하는 방식이다.
• Gap: marginal 기반 평가는 서로 다른 trajectory 분포가 유사한 marginal 점수를 가질 수 있어 시간적 상관관계나 transition 구조 차이를 구분하지 못하는 근본적 한계가 있으며, path-space 전체를 비교하는 원칙적 방법이 부재하다.
• Why: destructive measurement로 인해 path-space law가 유한한 marginal로부터 non-identifiable한 single-cell genomics 등의 응용에서, 궤적 분포 자체를 비교할 수 있는 일관된 지표는 TI 방법의 신뢰성 있는 벤치마킹과 실제 생물학적 동역학 해석에 필수적이다.
• Approach: Functional Flow Matching(FFM)의 conditional Gaussian path 구조를 활용하여, 두 trajectory 분포에 대해 각각 학습된 velocity field 간 제곱 오차 형태로 KL divergence를 표현하는 tractable한 data-driven 추정기를 유도한다.

Achievement

Figure 3. Sensitivity analysis on a Gaussian special case.

1. 함수공간 KL 추정 프레임워크: absolute continuity와 trace-class noise covariance에 대한 엄밀한 조건 하에서, 두 확률측도 간 functional KL을 velocity field의 제곱 불일치로 표현 가능한 tractable estimator를 도출하였다.
2. 추정기 검증: 해석적 KL 값이 알려진 다양한 특수 사례(예: Gaussian case) 벤치마크에서 추정된 functional KL이 analytic KL과 밀접하게 일치함을 확인하고, 다양한 추정 요인에 대한 강건성을 체계적으로 평가하였다.
3. TI 방법 평가 불일치 규명: 합성 및 실제 scRNA-seq 데이터셋에서 널리 쓰이는 5가지 snapshot 기반 지표들이 서로 모순되는 순위를 산출함을 실증적으로 보였다(예: Petal dataset에서 MSBM과 TIGON이 유사한 W2 점수를 갖지만 실제로는 질적으로 다른 궤적을 생성).
4. Path-space KL의 실용적 유용성 입증: functional KL이 sparse하거나 missing 관측 영역에서 inferred dynamics의 차이를 드러내며, TI 방법 비교에 있어 일관성 있는 기준을 제공함을 보였다.

How

Figure 4. Trajectories generated by different TI methods across three synthetic datasets, from top to bottom: Lotka–Volt

• Hilbert space H 상에서 두 개의 독립적인 확률공간을 정의하고, 각각에 대해 동일한 Gaussian 초기 분포 X0와 서로 다른 endpoint 분포 νA, νB(X1)를 갖는 FFM 모델을 개별적으로 학습
• 각 모델은 linear interpolation Xt = (1-t)X0 + tX1을 통해 유도된 path of measures (µt)와 이를 생성하는 velocity field (vt)의 쌍으로 표현되며, weak continuity equation을 만족
• νA ≪ νB (Assumption 3.1)와 Cameron–Martin support 조건(Assumption 3.2) 등 absolute continuity 관련 가정 하에서 Radon–Nikodym derivative 기반 KL divergence를 정의
• 두 velocity field vA_t, vB_t 간의 차이를 이용해 KL(νA∥νB)를 model-/approximation-dependent term을 제외하고 tractable하게 근사하는 추정 공식을 도출
• Gaussian special case, 합성 물리 시뮬레이션(예: Petal dataset), 실제 scRNA-seq 데이터셋 등에 대해 MSBM, TIGON 등 여러 TI 방법의 궤적을 생성하고 functional KL로 비교
• resolution invariance, noise covariance C 변화 등에 대한 sensitivity analysis 수행

Originality

• marginal 기반 평가의 근본적 한계(비식별성)를 지적하고, 이를 함수공간 KL이라는 이론적으로 엄밀한 대안으로 대체하려는 시도가 독창적임
• FFM의 conditional Gaussian interpolation 구조를 활용해 infinite-dimensional 확률측도 간 KL을 velocity field 차이로 환산하는 유도가 새로우며, 기존 information-measure estimation 문헌(MINE 등 유한차원 위주)과 달리 함수(trajectory) 공간에 직접 작동하는 몇 안 되는 실용적 추정기 중 하나로 제시됨
• TI 평가에 있어 5개의 널리 쓰이는 snapshot 지표가 서로 모순되는 결과를 낸다는 실증적 발견 자체도 커뮤니티에 중요한 기여

Limitation & Further Study

• Assumption 3.1(νA≪νB)과 Assumption 3.2(Cameron–Martin support) 등 이론적 조건이 실제 데이터에서 항상 성립하는지 검증하기 어려우며, 위반 시 추정치의 신뢰성이 불확실함
• 추정기가 model-/approximation-dependent term을 제외한 근사이므로, FFM 모델 학습 품질(velocity field 근사 오차)에 따라 KL 추정 편향이 발생할 수 있음
• 실제 scRNA-seq 데이터의 경우 ground-truth trajectory가 없어 functional KL의 절대적 정확성을 직접 검증하기 어렵고, 상대적 비교에 의존
• 후속 연구로 다양한 reference process(Brownian 외 Ornstein-Uhlenbeck 등)나 고차원 omics 데이터에서의 확장성, 그리고 추정기의 통계적 오차 bound에 대한 이론적 분석이 필요할 것으로 보임

Evaluation

총평: 함수공간 KL이라는 이론적으로 탄탄한 새로운 평가 지표를 제안하고 이를 실제 TI 벤치마크에 적용하여 기존 marginal 기반 평가의 한계를 명확히 드러낸 견고한 연구로, single-cell genomics를 포함한 trajectory inference 분야의 평가 방법론에 실질적 기여를 할 것으로 보인다.