Latent Generative Solvers for Generalizable Long-Term Physics Simulation

Motivation

• Known: 결정론적 neural PDE 솔버는 한 스텝 정확도는 우수하지만 자기회귀 롤아웃에서 오차가 기하급수적으로 누적되고, 확률론적 솔버는 단일 PDE 계열이나 단기 예측에만 국한된다.
• Gap: 이질적인 PDE 계열 간 일반화와 장기 자기회귀 롤아웃 안정성을 동시에 달성하는 neural PDE 솔버가 부재하다.
• Why: 신뢰할 수 있는 physics simulation을 위해서는 다양한 물리 시스템에 대한 외삽과 장기 예측의 안정성이 모두 필수적이며, 이는 과학 계산과 엔지니어링 응용에서 중요한 도전이다.
• Approach: 공유된 latent manifold에 heterogeneous PDE 상태를 인코딩하고, flow matching을 통한 generative transition을 학습하며, 입력 노이징으로 학습하여 자기회귀 오차를 per-step contraction으로 변환하는 three-component 프레임워크를 제안한다.

Achievement

• 일반화 성능: 16개 시스템 중 15개에서 5스텝과 10스텝 롤아웃에서 강력한 결정론적 기준선을 초과하며, 20스텝에서 L2RE를 56.1%에서 30.2%로 감소
• 계산 효율: 자기회귀 동역학 스텝당 13-77배 적은 계산량 사용
• 적응 효율성: 사전훈련 코퍼스에서 제외된 256² Kolmogorov flow에 대해 5 finetune epoch에서 1-step L2RE를 0.398에서 0.129로 감소 (U-AFNO는 0.653→0.343)
• 통합 벤치마크: 4개 공개 PDE 컬렉션을 233GB 벤치마크로 통합하여 12 PDE 계열에 대한 공정한 비교 프로토콜 제공

How

Figure 2: Architecture of the generative solver, Flow Forcing Transformer (FlowFT). (a) A single

• Physics VAE (PhyVAE): SD-VAE 백본을 기반으로 12개 PDE 계열을 16×16×16 공유 latent manifold로 압축하여 discretization과 resolution 특이적 구조 제거
• Pyramidal Flow-Forcing Transformer (PFlowFT): SiT 백본을 기반으로 flow matching을 통해 다음 latent 상태 생성하며, per-trajectory context를 모델의 예측으로부터 업데이트
• Input noising: 훈련 시에만 latent 입력을 섭동하여 충분-조건 contraction bound를 도출하고, 추론 시에는 동일한 벡터장이 자기회귀 오차를 자동 진단 및 projection
• Temporal pyramid aggregation: 긴 히스토리 위에 주의 비용을 경계지으면서 per-trajectory 문맥 정보를 효율적으로 집계
• Sequential training: 4-frame history window에서 물리 시간 따라 unroll하며 context를 자기회귀적으로 상속

Originality

• 시간-전진 generative 솔버를 자기회귀 롤아웃 실패 모드에 맞춘 세 가지 원리로 설계 (노이징된 입력 보정, flow-forcing of 조건변수, pyramidal aggregation)
• 입력 노이징 훈련이 per-step contraction을 도입하는 메커니즘을 충분-조건 수축 경계로 이론적으로 분석
• 단일-샷 latent generative 모델 (DiT, SiT)을 반복적 롤아웃 설정으로 확장하면서 diffusion forcing 개념을 PDE 동역학에 적응
• 12개 PDE 계열 간 공유 latent 역학 학습으로 system-level transfer를 표현 속성으로 구현

Limitation & Further Study

• PhyVAE는 훈련 후 고정되므로 새로운 PDE 계열에 대한 인코더 재훈련 없이는 제한적
• 16×16×16 latent 차원이 모든 12개 PDE 계열에 최적인지에 대한 분석 부재
• 입력 노이징의 schedule 선택과 강도에 대한 sensitivity 분석이 명확하지 않음
• 더 높은 해상도 (256² 이상)에서의 확장성과 메모리 요구사항에 대한 평가 제한적
• 물리적으로 일관된 량 (에너지, 불변량 등)의 보존 성능에 대한 평가 부재

Evaluation

총평: LGS는 latent space 기반 generative modeling을 장기 자기회귀 rollout으로 확장하고 이질적 PDE 간 일반화를 달성하는 중요한 기여이며, input noising의 수축 특성에 대한 이론적 분석과 함께 강력한 실험 결과를 제시한다. 다만 더 높은 해상도 확장성과 물리 불변량 보존에 대한 추가 연구가 필요하다.