From geometry to dynamics: Learning overdamped Langevin dynamics from sparse observations with geometric constraints

Motivation

• Known: 기존의 stochastic dynamics 추론 방법은 크게 두 갈래로 나뉜다: (1) temporal methods는 관측 간격 τ가 작을 때 state increment를 회귀하여 drift를 추정하며, (2) geometric methods는 invariant density나 generator의 eigenstructure를 근사하지만 conservative force나 decoupled 변수를 가정하는 시스템에 국한된다.
• Gap: temporal 방법은 τ가 커지면 Euler-Maruyama 근사가 부정확해져 성능이 급격히 저하되고, geometric 방법은 conservative drift 등 제한된 클래스의 동역학에만 적용 가능하여, 두 관점을 통합하여 sparse하게 관측된 non-conservative stochastic system을 다룰 수 있는 방법이 부재하다.
• Why: 희소한 시간 해상도로만 관측 가능한 물리, 생물, 제어 시스템(예: 세포 성장, 개체군 동역학, 화학 반응)에서 정확한 지배 방정식을 복원할 수 있다면, 관측 비용이 제한된 실세계 응용에서 시스템 식별의 적용 범위를 크게 넓힐 수 있다.
• Approach: 저자는 관측 기반 invariant density의 기하학적 구조로부터 Riemannian metric을 추정하고, 연속 관측점 사이의 geodesic에 유도된 diffusion bridge를 생성하여 비관측 경로를 재구성한 뒤, Expectation-Maximisation 프레임워크로 drift를 nonparametric하게 추정하는 방법을 제안한다.

Achievement

Figure 3

1. temporal-geometric 통합 프레임워크: geometry-guided path augmentation을 통해 temporal 방법과 geometric 방법의 장점을 결합하여 sparse하게 관측된 SDE 추론을 stochastic control 문제로 재정식화하였다.
2. 독립적으로 풀리는 control 문제 형식화: geometry-constrained augmentation을 관측 구간별로 독립적으로 해결 가능한 stochastic control 문제로 공식화하였다.
3. 이론적 분석: 긴 관측 간격에서 short-time 근사의 편향이 vector field의 curvature와 관련된 고차항에 의해 제어됨을 이론적으로 보여, 순수 temporal 방법이 τ 증가에 따라 성능 저하되는 이유를 설명하였다(Sec. H.2).
4. model-independent drift 추정 통합: 제안된 augmentation을 nonparametric drift 추정 프레임워크에 통합하여 large-τ 환경에서 기존 방법 대비 향상된 동역학 복원 성능을 합성 벤치마크에서 입증하였다.

How

Figure 1

• 관측 앙상블 {Ok}을 이용해 empirical manifold M을 근사하고, Riemannian metric tensor H(x)를 nonparametric하게 학습한다(사전에 manifold 차원을 지정할 필요 없음).
• 학습된 metric에 따라 연속 관측치 간 최단 경로 거리(geodesic)를 비모수적으로 계산한다.
• geodesic으로 유도되는 geometrically constrained diffusion bridge를 샘플링하여 관측 사이의 비관측 경로를 생성한다. 이 bridge는 시간적 순서를 존중하면서 geodesic 쪽으로 유도된다.
• 증강된 경로를 바탕으로 Expectation-Maximisation(E.M.) 프레임워크 내에서 drift 함수를 nonparametric하게 추정하며, 상태 추정(diffusion bridge 샘플링)과 drift 추론을 교대로 반복한다(Fig. 1D).
• 기존의 Brownian/Ornstein-Uhlenbeck bridge를 사용하는 방법(Fig. 1E)과 비교하여, τ가 커질수록 발생하는 편향을 줄이는 방식으로 설계되었다.

Originality

• 기존에는 별개로 취급되던 temporal 방법과 geometric 방법을 stochastic control 문제라는 단일 틀 안에서 통합한 최초의 접근이다.
• invariant density로부터 유도된 Riemannian metric과 geodesic을 이용해 diffusion bridge를 기하학적으로 제약함으로써, conservative force 가정 없이도 geometric inductive bias를 도입한 점이 독창적이다.
• manifold 차원을 사전에 지정하지 않고 관측 공간 전체를 Riemannian manifold로 다루는 complementary view(Fröhlich et al., 2021에서 영감)를 채택하여 실용적 구현 가능성을 확보하였다.

Limitation & Further Study

• 발췌된 본문에서는 diffusion 항 σ의 추정 방법이나 고차원 시스템에서의 metric 학습 확장성에 대한 구체적 논의가 부족해 보인다.
• 제안 방법은 overdamped Langevin dynamics(즉 diffusion이 일정하거나 알려진 형태)에 한정하여 검증되었으며, 일반적인 multiplicative noise나 non-Markovian 시스템으로의 확장 가능성은 불명확하다.
• 합성 벤치마크에서의 검증에 그쳐 실제 실험 데이터(생물학적/물리적 관측)에 대한 적용 및 강건성 검증이 필요하다.
• geodesic 근사와 diffusion bridge 샘플링의 계산 비용이 관측 차원이나 데이터 크기에 따라 어떻게 증가하는지에 대한 분석이 후속 연구로 요구된다.

Evaluation

총평: temporal 및 geometric 추론 관점을 stochastic control 문제로 통합한 참신하고 이론적으로 뒷받침된 접근으로, sparse 관측 환경에서의 SDE drift 추정이라는 어려운 문제에 실질적인 진전을 제시한다. 다만 실제 데이터 적용성과 확장성에 대한 추가 검증이 필요하다.