Structure-Preserving Learning Improves Geometry Generalization in Neural PDEs

Motivation

• Known: 기존 operator learning 방법들(Fourier Neural Operator, GNOT, Transolver, transformer 기반 latent-token 모델 등)은 geometry와 boundary condition을 입력으로 받아 solution으로의 회귀(regression)를 수행하며, 좌표 왜곡(diffeomorphism), 그래프 기반 message passing, 혹은 point-cloud tokenization을 통해 불규칙 형상을 처리한다.
• Gap: 기존 방법들은 대체로 rectilinear domain이나 이에 diffeomorphic한 도메인에 국한되며, 보존 법칙(conservation law)이나 경계조건을 엄밀하게(exactly) 강제하지 못해 훈련 분포를 벗어난(out-of-distribution) 새로운 형상에 대해 일반화 성능이 급격히 저하된다는 근본적인 한계가 존재한다.
• Why: 복잡한 형상에 대한 일반화는 과학 및 공학 설계에서 물리 파운데이션 모델(physics foundation model)을 실용적으로 배치하기 위한 핵심 미해결 과제이며, 물리적 구조를 정확히 보존하는 귀납적 편향(inductive bias)을 부여함으로써 미지 도메인에 대한 신뢰성 있는 실시간 예측이 가능해진다.
• Approach: Dirichlet-to-Neumann map에서 영감을 받아, 저자들은 solution을 직접 회귀하는 대신 좌표계에 무관한 물리 표현과 geometry 표현을 강한 경계조건 부여를 통해 연결하는 축소 유한요소모델(reduced-order finite element model)을 식별하는 문제로 학습을 재구성한다.

Achievement

Figure 4. Geo-NeW’s physical and geometric biases improve

1. 경계조건 및 보존법칙의 엄밀한 만족: geometry 일반화를 유지하면서도 boundary condition과 conservation law를 정확히(exactly) 강제하는 최초의 모델을 제시하였다.
2. FEEC 프레임워크 확장: 기존 FEEC 기반 연구(Kinch et al., 2025; Actor et al., 2024; Trask et al., 2022)를 확장하여 재훈련 없이 서로 다른 geometry에서 물리를 학습할 수 있도록 하였다.
3. geometry-aware encoding과 transformer 아키텍처 결합: heat kernel signature(HKS), harmonic coordinates(HC), signed-distance field(SDF)를 결합한 translation/rotation-invariant, discretization-invariant embedding을 구현하였다.
4. 해의 존재성과 유일성 보장: solution 변수에 대해서는 convex하지만 geometry 변수에 대해서는 non-convex한 새로운 constitutive model parameterization을 제안하여 학습된 모델의 solvability를 이론적으로 증명하였다.
5. 성능 검증: 여러 steady-state PDE 벤치마크에서 state-of-the-art 성능을 달성했으며, out-of-distribution geometry(예: 각도 θ가 변화하는 step 도메인)에서 Transolver 등 기존 baseline 대비 유의미한 성능 향상을 보였다(Fig. 1, Fig. 4).

How

Figure 2. Geo-NeW pipeline for geometry-generalizable PDE surrogate modeling. A geometry encoder maps mesh-derived featu

• Mesh 입력 $M_g$을 받아 transformer 기반 인코더 $W_\theta, F_\theta$로 reduced finite element space $(W_0, W_1)$와 미분 연산자(governing operator) $G_\theta$를 동시에 학습
• geometry 조건화(conditioning)는 coordinate-free descriptor(HKS, harmonic coordinates)와 metric 정보(SDF)를 transformer로 결합하여 수행
• 추론 시점에는 학습된 조건에 따라 reduced conventional finite element system을 구성하고, $G_\theta(u_\theta)=0$을 풀어(implicit solve) solution $u_\theta \in W_0$를 도출
• 학습 절차는 nonlinear solver를 통한 implicit differentiation(암묵적 미분)을 사용하며, 이는 differentiable optimization과 관련되나 equilibrium 조건이 latent representation이 아닌 conservation law에서 유도된 discretized physical operator라는 점에서 차별화됨
• constitutive model을 solution 변수에 대해 convex하게 파라미터화하여 학습된 PDE 모델의 existence/uniqueness를 보장

Originality

• 기존 operator learning이 geometry를 입력 모달리티(좌표 왜곡, 그래프 연결성, point-cloud 토큰)로 취급하는 것과 달리, computational mesh를 mass/stiffness matrix 구성을 위한 도구이자 학습된 finite element space의 basis로 명시적으로 사용
• latent 변수가 물리적으로 해석 가능한 reduced finite element space의 계수(coefficient)라는 점에서, 단순 latent token 압축 방식(Transolver, inducing-point 등)과 근본적으로 구별됨
• FEEC를 신경망 기반 아키텍처에 결합하여 서로 다른 geometry 간 재훈련 없는 일반화를 가능케 한 최초의 시도
• solution 변수에는 convex하나 geometry 변수에는 non-convex한 constitutive model parameterization을 통해 이론적 solvability 보장을 신경망 PDE 대리모델에 도입

Limitation & Further Study

• 발췌된 abstract 및 본문 초반부만으로는 계산 비용(암묵적 solver 반복에 따른 훈련/추론 시간), 3D 및 복잡한 다중물리 시스템으로의 확장 가능성에 대한 구체적 정보가 부족함
• steady-state PDE에 초점을 맞추고 있어, 시간 종속(time-dependent) PDE나 비선형 동역학계로의 일반화는 추가 검증이 필요
• transformer 기반 geometry 인코딩(HKS, HC, SDF)의 계산 비용과 매우 큰 메쉬(대규모 3D 산업용 메쉬)에 대한 확장성(scalability)이 명확히 제시되지 않음
• 후속 연구로는 unsteady PDE, multi-physics coupling, 대규모 3D 형상에 대한 실증적 검증이 필요할 것으로 보임

Evaluation

총평: FEEC의 구조 보존 원리를 신경망 기반 PDE 서베로게이트에 결합하여 geometry generalization 문제에 새로운 해법을 제시한 참신하고 이론적으로 탄탄한 연구로, 물리 파운데이션 모델 개발에 중요한 기여를 할 것으로 평가된다.