Fractional is Better: Learnable Derivative Orders in Neural Operator Learning

Motivation

• Known: Neural operator(FNO, DeepONet 등)는 함수 공간 간 매핑을 학습해 PDE에 대한 빠른 surrogate solution을 제공하며, 최근에는 precomputed derivative를 추가 입력으로 제공하면 성능이 향상된다는 경험적 결과가 보고된 바 있다.
• Gap: 기존 방법들은 입력을 raw coordinate-value pair (x, u(x))로만 표현해 PDE의 미분 구조를 무시하며, derivative feature를 제공하더라도 어떤 차수를 선택해야 하는지, 특히 PDE order m을 그대로 쓰는 것이 최적인지에 대한 이론적 근거가 없었다.
• Why: 미분 차수 선택 문제를 이론적으로 규명하면 architecture-agnostic한 방식으로 임의의 neural operator backbone 성능을 개선할 수 있고, 노이즈와 유한 샘플 환경에서 물리적 정합성과 통계적 효율성 사이의 트레이드오프를 자동으로 조절하는 원리를 제공하므로 과학 계산 전반에 실용적 함의가 크다.
• Approach: Picard iteration을 통한 mild solution 분석으로 PDE solution operator에 derivative가 명시적으로 등장함을 보이고, approximation rate 이론과 spectral space bias-variance tradeoff 분석을 통해 최적 fractional derivative order β*< m임을 증명한 뒤, 이를 학습하는 architecture-agnostic 증강 기법 ∂-NO를 제안한다.

Achievement

1. Derivative Emergence 정리: Picard iteration 기반 mild solution 전개를 통해 semilinear parabolic PDE의 solution operator에 입력의 derivative(최대 order m)가 명시적으로 나타남을 증명(Theorem 3.1), 이를 hyperbolic·fractional-in-time·quasilinear 시스템으로 확장.
2. 근사율 개선 증명: derivative feature를 제공하면 network width W에 대한 근사율이 O(W^{-(s-m)/d})에서 O(W^{-s/d})로 개선됨을 이론적으로 도출.
3. 최적 차수의 bias-variance tradeoff 발견: spectral space에서 최적 fractional derivative order β가 PDE order m보다 항상 작다는 것을 closed form으로 특성화하고, 데이터가 늘어남에 따라 gap m-β가 줄어들지만 유한 노이즈 데이터셋에서는 항상 양수임을 증명.
4. ∂-NO 아키텍처 제안 및 실증: fractional derivative의 order와 scale을 backbone weight와 함께 학습하는 architecture-agnostic 증강 기법을 제안하고, Burgers 등 여러 벤치마크·아키텍처에서 예측 정확도를 일관되게 향상시킴을 실험으로 확인(Figure 2-5), 학습된 β가 노이즈와 유한 샘플 제약을 반영한 물리적 표현을 나타냄을 보임.

How

• PDE를 ∂_t u = Lu + N[u] 형태의 semilinear 방정식으로 정식화하고 mild solution의 Picard iteration을 short-time 전개하여 solution operator에 derivative가 등장함을 증명(§3, Theorem 3.1, Appendix B).
• 근사 이론(§4)에서 network width에 대한 approximation rate를 input regularity s, PDE order m, spatial dimension d로 특성화.
• Weyl fractional derivative (Fourier 기반 정의, Definition 2.1)와 Grünwald-Letnikov 유한차분 근사를 사용해 임의의 실수 차수 β에 대해 미분 가능한 fractional derivative를 정의하고, β에 대한 gradient(식 6)를 유도해 학습 가능하게 만듦.
• spectral space에서 bias-variance tradeoff를 closed form으로 분석하여 최적 β*<m임을 §5에서 증명.
• ∂-NO 아키텍처(Figure 1)를 제안: 입력 u를 learnable order β_k와 scale s_k를 가진 다중 채널 Dβk u로 증강하여 임의의 backbone(FNO 등)에 전처리로 삽입.
• Burgers 방정식(smooth ν=0.1, near-shock ν=0.001), 여러 해상도, 다양한 backbone에 대해 실험(Figure 2-5)하여 이론적 예측(관계식 β* vs m)과 실제 학습된 β를 비교 검증.

Originality

• PDE solution operator의 미분 구조를 Picard iteration/mild solution 관점에서 체계적으로 분석하여 derivative feature 제공의 이론적 근거를 최초로 제시.
• 단순히 known PDE order를 derivative feature로 사용하는 기존 직관과 달리, spectral space bias-variance tradeoff를 통해 최적 차수가 항상 PDE order보다 작다는 반직관적 결과(β*<m)를 closed form으로 도출.
• fractional calculus를 architecture, optimizer, loss function이 아닌 "입력 전처리(feature augmentation)"의 관점에서 도입한 새로운 네 번째 계열의 활용법을 제안(기존 fractional PINN, fractional gradient, fractional architecture와 구별).
• Weyl derivative의 β에 대한 미분가능성을 활용해 fractional order 자체를 backbone 가중치와 공동 최적화하는 학습 가능한 자동 spectral regularization 메커니즘 제안.

Limitation & Further Study

• 이론 분석이 주로 semilinear parabolic PDE(및 확장된 hyperbolic/fractional-in-time 사례)에 초점을 맞추고 있어, 강한 비선형성이나 불연속(shock) 등 특이 현상을 갖는 PDE에 대한 이론적 보장이 제한적일 수 있다.
• 근사율 개선과 β < m 결과가 특정 함수 공간(Hs, Besov ball Bs(R)) 가정 및 short-time(T<T) 조건 하에서 유도되어, 실제 장시간 시뮬레이션이나 임의 도메인에서의 일반성 검증이 추가로 필요하다.
• 실험이 Burgers 방정식 등 제한된 벤치마크 위주로 제시되어(발췌 기준), Navier-Stokes, Darcy flow 등 더 복잡한 실세계 PDE 및 다양한 backbone에 대한 광범위한 검증이 후속 연구로 요구된다.
• Weyl fractional derivative의 Fourier 기반 정의는 비주기적 도메인에서 Gibbs ringing 문제를 야기할 수 있어 Grünwald-Letnikov 근사에 의존하는데, 이 근사의 수치적 안정성과 계산 비용에 대한 심층 분석이 부족하다.

Evaluation

총평: PDE 미분 구조와 neural operator 입력 표현 사이의 관계를 Picard iteration이라는 고전적 해석학적 도구로 정밀하게 분석하고, 최적 fractional derivative order가 PDE order보다 작다는 반직관적이면서도 이론적으로 탄탄한 결과를 제시한 점에서 학문적 기여도가 높은 논문이다. architecture-agnostic한 실용적 구현(∂-NO)까지 제공해 이론과 실무를 잘 연결했으나, 검증 범위가 더 넓은 PDE 클래스로 확장될 필요가 있다.