Physics-Informed Diffusion Models in Spectral Space

Motivation

• Known: PINNs와 neural operator를 거쳐 최근에는 diffusion 기반 생성모델이 PDE 파라미터와 해의 분포를 학습하여 forward/inverse/joint reconstruction 문제를 conditional sampling으로 다루는 방향으로 발전해왔으며, DiffusionPDE, CoCoGen 등은 grid 기반 discretization에서 PDE residual gradient로 guidance를 수행한다.
• Gap: 기존 grid 기반 diffusion PDE solver들은 무한 해상도 극한에서 Gaussian noise가 spatial white noise로 수렴하여 PDE residual이 잘 정의되지 않는 문제가 있고, 이로 인해 reverse process 후반부에서만 PDE guidance를 적용할 수밖에 없으며, spectral 공간에서 diffusion을 다루는 기존 연구(Phillips et al., 2022)도 데이터 의존적 스케일링을 통한 regularity 보장이 없었다.
• Why: 함수 공간에서 PDE 연산자가 well-defined하게 유지되는 diffusion 과정을 spectral latent space에서 구성함으로써, 차원 축소를 통한 계산 효율성과 이론적으로 안정된 물리 제약 적용을 동시에 달성할 수 있어 sparse observation 하의 forward/inverse PDE 문제 해결에 실질적 진전을 제공한다.
• Approach: 스케일된 spectral coefficient(주로 truncated Fourier transform)로 정의된 유한 차원 latent space에서 diffusion model을 학습하고, 데이터 분포의 Sobolev regularity 조건이 diffusion 과정 전반에 보존됨을 이론적으로 보이며, 추론 시 DPS 변형에 Adam 기반 업데이트를 결합해 PDE residual과 관측 조건을 동시에 강제한다.

Achievement

Figure 5. Inverse Poisson problem with 500 sparse observations of u and no observations of a. Top row: the observation m

1. PISD 프레임워크 제안: PDE 파라미터-해 결합 분포를 scaled spectral latent space에서 diffusion으로 학습하고 추론 시 물리 정보 guidance를 적용하는 방법론을 도입했다.
2. Sobolev regularity 보존 이론: spectral coefficient의 적절한 스케일링이 함수 공간에서 유도된 diffusion process의 Sobolev regularity를 보존함을 증명하여 PDE 연산자가 항상 well-defined하도록 보장했다.
3. 차원 축소를 통한 계산 효율화: spectral 표현이 grid 기반 diffusion 대비 상당한 차원 축소를 가능하게 하여 추론 시간을 기존 SOTA 대비 3~15배 단축했다.
4. Adam 기반 DPS 확장: 기존 GD 기반 guidance를 Adam 기반 업데이트로 대체하여 정확도를 최대 10배까지 개선했다.
5. 다양한 PDE에서 검증: Poisson, Helmholtz, incompressible Navier-Stokes 방정식에서 sparse observation 조건 하에 기존 diffusion 기반 PDE solver(DiffusionPDE 등) 대비 정확도와 효율성 모두 개선함을 입증했다.

How

Figure 2. Comparison of the forward processes in function space: The top row shows heatmaps of the function values resul

• 추상적 PDE 문제를 Hilbert space F 상의 residual functional LPDE로 정식화하고, PDE 해에 지지되는 prior 분포 ν를 가정하는 문제 설정(Example: Poisson equation)을 제시
• 함수를 유한 차원 spectral encoding E(truncated, normalized Fourier transform)로 표현하고 근사 역변환 I를 정의하여 latent space를 구성
• Karras et al. (2022) 스타일의 denoiser D를 이 latent space에서 학습시키고, 데이터 분포로부터 얻은 scaling을 통해 Gaussian noise가 controlled regularity를 갖는 함수에 대응하도록 유도
• 추론 단계에서 DPS(Chung et al., 2023a)를 변형하여 각 diffusion step마다 Adam 기반 업데이트로 PDE 제약과 측정 조건(관측값)을 강제
• Poisson, Helmholtz, incompressible Navier-Stokes 방정식에 대해 DiffusionPDE 등 기존 baseline과 정확도·추론시간을 비교 실험

Originality

• grid 기반 discretization의 한계(무한 해상도에서 residual이 ill-defined)를 극복하기 위해 spectral 표현에 데이터 의존적 스케일링을 도입해 함수 공간에서 diffusion process의 Sobolev regularity를 이론적으로 보장한 점이 독창적이다.
• 기존 spectral diffusion 연구(Phillips et al., 2022)와 달리 regularity를 명시적으로 통제하는 스케일링을 결합했다.
• DPS의 GD 기반 guidance를 Adam 기반으로 대체하는 아이디어는 Belardi et al. (2026)과 동시대적/독립적으로 제안되었으나, 본 논문은 이를 PDE 물리 제약 강제라는 맥락에 특화하여 적용했다.

Limitation & Further Study

• 스펙트럴 truncation 및 스케일링이 특정 PDE(경계조건, 도메인 형태)에 의존적일 수 있어, 복잡한 기하학적 도메인이나 비주기적 경계조건으로의 일반화 가능성이 명확히 검증되지 않았다.
• Adam 기반 guidance가 동시 제안된 Belardi et al. (2026)과 유사하여 방법론적 신규성 측면에서 경쟁 연구와의 차별성이 제한적일 수 있다.
• 실험이 Poisson, Helmholtz, incompressible Navier-Stokes 등 상대적으로 잘 알려진 저차원 PDE에 국한되어, 더 고차원적이거나 비선형성이 강한 PDE 계열로의 확장성에 대한 추가 검증이 필요하다.
• 후속 연구로는 비정형 도메인/비주기 경계에서의 spectral encoding 일반화, 다양한 PDE 계열(비선형 PDE, 시간 종속 문제)로의 확장, 그리고 이론적 regularity 보장을 더 일반적인 조건 하에서 확립하는 작업이 기대된다.

Evaluation

총평: 이론적으로 뒷받침되는 spectral latent space diffusion과 Adam 기반 guidance의 결합을 통해 물리 정보 기반 PDE 생성모델의 정확도와 효율성을 동시에 개선한 견실한 연구로, 다만 도메인 일반화와 동시대 연구와의 차별성 측면에서 추가 검증이 필요하다.