Supervised Guidance Training for Infinite-Dimensional Diffusion Models

Motivation

• Known: 유한차원에서는 Doob's h-transform을 통해 조건부 score를 unconditional score와 guidance term으로 분해할 수 있으며, DPS나 학습 기반 guidance 근사 등 다양한 방법이 존재한다. 또한 diffusion model이 최근 무한차원 함수공간으로 확장되어 PDE 기반 inverse problem에 활용되고 있다.
• Gap: 무한차원에서는 Lebesgue density가 존재하지 않고 Feldman-Hájek 정리로 인해 Gaussian measure의 shift가 mutually singular measure를 유발할 수 있어, 유한차원의 conditioning 이론(h-transform, score 분해)을 그대로 확장할 수 없으며, 이를 엄밀히 다루는 이론이 부재했다.
• Why: 함수공간에서 학습된 diffusion model을 fine-tuning하여 posterior sampling에 정확히 활용할 수 있는 최초의 방법으로, PDE 기반 inverse problem에 대한 원칙적이고 해상도 불변적인 Bayesian inference를 가능하게 한다는 점에서 중요하다.
• Approach: prior가 Cameron-Martin space에 속하거나 Gaussian measure에 대해 absolutely continuous하다는 두 가지 일반적 가정 하에, 무한차원 Doob's h-transform을 이용해 conditional diffusion process의 존재를 증명하고 conditional score를 unconditional score와 intractable한 guidance term으로 분해한 뒤, simulation-free한 denoising score matching 목적함수(Supervised Guidance Training)로 guidance term을 학습한다.

Achievement

Figure 2. Posterior sampling for the heat equation. We show the ground truth signal in black, the mean sample in red and

1. 무한차원 h-transform 이론 정립: prior가 Cameron-Martin space에 있거나 Gaussian measure에 absolutely continuous한 두 설정에서 conditional diffusion process의 존재를 증명함.\n2. Score 분해 정리: conditional score가 unconditional score와 guidance term으로 분해됨을 무한차원에서 증명.\n3. Supervised Guidance Training 알고리즘: intractable한 guidance term을 simulation-free한 denoising score matching으로 학습하는 효율적이고 안정적인 방법 제안.\n4. 기존 방법과의 이론적 연결: stochastic optimal control 및 Tweedie 기반 근사(FunDPS)와의 관계를 규명하고, 더 완화된 가정 하에서 FunDPS의 근사를 증명.\n5. 수치 실험 검증: point evaluation, heat equation, shape data 등 Bayesian inverse problem에서 heuristic baseline 대비 우수한 정확도를 입증.

How

Figure 4. Posterior sampling for the heat equation. We show the ground truth signal in black, the mean sample in red and

• 무한차원 forward SDE(Ornstein-Uhlenbeck 유형)와 그 time-reversal을 Pidstrigach et al. (2024) 프레임워크에 기반해 정의\n- prior π가 (i) Wiener process의 Cameron-Martin space에 속하거나 (ii) Gaussian measure에 absolutely continuous하다는 두 조건 하에서 Doob's h-transform을 무한차원으로 확장해 conditional reverse SDE의 well-posedness 증명\n- Bayes' rule을 이용해 conditional score를 unconditional score와 guidance term(∇log h)으로 분해\n- guidance term을 직접 추정하기 어려운 문제를 해결하기 위해, denoising score matching 형태의 simulation-free 목적함수인 Supervised Guidance Training을 설계하여 guidance network를 학습\n- FunDPS 등 기존 Tweedie 근사 기반 방법과의 이론적 관계를 분석하고 더 약한 가정 하에서 근사 성립을 증명\n- point evaluation, heat equation 기반 PDE inverse problem, shape data, MNIST 등에서 posterior sampling 실험 수행하여 heuristic guidance 방법과 비교

Originality

• 무한차원 함수공간에서 diffusion model을 posterior sampling에 조건화하는 이론(Doob's h-transform의 무한차원 확장)을 최초로 엄밀하게 정립함\n- Lebesgue density 부재 및 Feldman-Hájek 정리로 인한 measure의 mutual singularity 문제를 명시적으로 다루며 기존 유한차원 이론을 단순 discretisation하지 않고 확장함\n- guidance term을 simulation-free하게 학습하는 Supervised Guidance Training이라는 새로운 학습 목적함수를 제안하여 계산 효율성과 안정성을 동시에 확보함\n- 기존 FunDPS의 근사를 더 일반적이고 완화된 가정 하에서 증명함으로써 이론적 엄밀성을 강화함

Limitation & Further Study

• 이론이 prior가 Cameron-Martin space에 속하거나 Gaussian measure에 absolutely continuous하다는 두 특정 조건에 한정되어 있어, 더 일반적인 prior에 대한 확장 가능성은 추가 연구가 필요함\n- 발췌된 본문에서는 forward operator G나 potential Φ가 비선형이거나 매우 고차원적인 PDE에서의 실제 확장성 및 계산 비용에 대한 논의가 제한적임\n- 실험이 point evaluation, heat equation, shape data, MNIST 등 상대적으로 단순한 벤치마크에 국한되어 있어, 더 복잡한 실제 PDE inverse problem으로의 검증이 후속 연구로 필요함\n- guidance network 학습에 필요한 supervision 신호(즉, 학습 데이터의 조건-관측 쌍)를 어떻게 확보하는지에 대한 실용적 제약이 충분히 논의되지 않음

Evaluation

총평: 무한차원 diffusion model의 posterior conditioning이라는 이론적으로 까다로운 문제를 엄밀하게 다루고 실용적인 학습 알고리즘까지 제시한 견고한 연구로, function-space Bayesian inverse problem 분야에 중요한 이론적·방법론적 기여를 한다.