Origo: Interpretable Multi-physics PDE Foundation Model through Neural Operator Splitting

Motivation

• Known: FNO, DeepONet 같은 neural operator들이 특정 PDE에 대해 효율적인 매핑을 학습해왔고, 최근 ICON-LM, PITT, FactorFormer, MPP, Poseidon, DPOT 등 다양한 PDE 파운데이션 모델들이 이질적인 물리 데이터셋에 대해 범용 백본을 학습하려는 시도를 해왔다.
• Gap: 기존 multi-physics PDE 사전학습은 서로 다른 동역학(포물선형 확산의 매끄러움 vs 쌍곡선형 이동의 불연속성 등)을 하나의 densely-coupled 연산자로 학습하기 때문에 negative transfer와 물리 메커니즘 뒤엉킴이 발생하며, cross-physics transfer에서 어떤 사전학습 지식이 실제로 전이되는지에 대한 해석가능성 이론적 틀이 부재하다.
• Why: PDE 파운데이션 모델이 실제 과학 계산에 신뢰성 있게 활용되기 위해서는 zero-shot 일반화 성능뿐 아니라 어떤 물리 메커니즘이 재사용/조합되는지에 대한 해석가능성이 필수적이며, 이를 이론적으로 뒷받침하는 프레임워크는 향후 범용 과학 AI 모델 설계에 중요한 기준이 될 수 있다.
• Approach: 고전적 Strang splitting의 명시적(explicit)·정적(static) 연산자를 학습 가능한 latent physics code 조건부 surrogate 연산자(ΦL, ΦN)로 대체하여, 대칭적 splitting 구조는 유지하면서도 데이터로부터 적응적으로 물리 메커니즘을 추론하는 Neural Operator Splitting 이론을 도입한다.

Achievement

1. Neural Operator Splitting 이론 제안: 고전적 operator splitting을 일반화하여 물리 프로세스를 분리하는 구조적 백본으로 활용 가능한 이론과 아키텍처를 정립했다.
2. Origo 모델 설계: 짧은 context window로부터 physics code를 추론하는 Mechanism Identification Module과, 이를 기반으로 선형 전달과 비선형 상호작용을 명시적으로 분리해 실행하는 Operator Evolution Module을 결합해 메커니즘 추론과 상태 진화를 분리했다.
3. 해석 가능한 operator bank 구현: Entmax-sparse routing과 KAN 파라미터화된 constitutive law를 이용한 명시적 operator bank를 통해 해석가능성과 조합적 일반화(compositional generalization)를 향상시켰다.
4. 강력한 zero-shot 일반화 및 메커니즘 수준 해석가능성 입증: 미확인 PDE(예: ut = |u| + uxx)에 대해 학습된 물리 메커니즘을 재조합하여 성공적으로 예측하는 것을 실험적으로 시연했다.

How

• 시간 종속 PDE의 준선형 진화방정식 ∂tu = Lu + N(u)를 대상으로, classical Strang splitting u(t+h) ≈ e^{h/2 L} ∘ e^{hN} ∘ e^{h/2 L} u(t)의 구조를 형식적으로 유지
• 명시적(hand-designed) 연산자 (L, N)을 학습 가능한 surrogate (ΦL, ΦN)로 대체하고, 이를 latent physics code z ∈ Z에 조건화하여 latent-conditioned Strang split을 정의
• Mechanism Identification Module이 입력 context로부터 sparse term mask(π(C))와 physics code를 추론하여 적응적 splitting 전략을 도출
• Operator Evolution Module이 해당 전략을 바탕으로 모듈화된 global spectral operator와 sparse local constitutive mechanism으로 구성된 explicit operator bank를 실행
• Entmax-sparse routing을 통해 활성화되는 물리 항(term)들을 선택적으로 라우팅하고, KAN(Kolmogorov-Arnold Network) 기반으로 constitutive law를 파라미터화하여 해석 가능성을 확보

Originality

• 고전적 수치해석의 operator splitting(Strang splitting) 이론을 신경망 기반 foundation model 사전학습에 접목한 이론적 프레임워크(Neural Operator Splitting)를 처음으로 제시
• 물리 메커니즘 식별(mechanism identification)과 연산자 진화(operator evolution)를 명확히 분리하는 아키텍처 설계를 통해, 기존 monolithic 연산자 모델링 방식과 차별화
• Entmax-sparse routing과 KAN 파라미터화를 결합한 explicit operator bank를 통해 operator-level 해석가능성을 제공하는 새로운 시도

Limitation & Further Study

• 발췌된 내용에서는 이론적 프레임워크와 아키텍처 설계가 상세히 소개되었으나, 구체적인 실험 설정, 벤치마크 PDE 종류, 비교 baseline 성능 수치 등이 명확히 제시되지 않아 실증적 검증의 완전성을 판단하기 어려움
• 두 개의 sub-operator(선형-비선형)로의 분리가 실제로 임의의 복잡한 multi-physics 상호작용(예: 3개 이상의 결합된 메커니즘)을 얼마나 잘 포착할 수 있는지에 대한 이론적/실험적 한계 논의가 부족해 보임
• physics code 추론이 짧은 context window에 의존하는데, 이 window 길이나 노이즈에 대한 민감도, 그리고 매우 다른 도메인(예: 3D 난류)으로의 확장성에 대한 추가 검증이 필요할 것으로 보임
• 후속 연구로 splitting 단계 수(더 높은 차수의 splitting scheme)나 operator bank의 스케일링에 따른 성능/해석가능성 트레이드오프를 체계적으로 분석하는 연구가 필요함

Evaluation

총평: 고전적 operator splitting 이론을 학습 가능한 latent-conditioned 프레임워크로 확장하여 multi-physics PDE 파운데이션 모델의 해석가능성과 zero-shot 일반화를 동시에 다룬 참신하고 이론적으로 잘 뒷받침된 연구이며, 향후 실험적 검증의 폭을 넓힌다면 PDE 파운데이션 모델 연구에 중요한 기여가 될 것으로 보인다.