Interpretability and Generalization Bounds for Learning Spatial Physics

Motivation

• Known: 과학 문제에 ML을 적용하는 다양한 사례들이 train error 기준으로는 유망해 보이지만, 이것이 올바른 물리 법칙에 수렴하거나 training set 범위를 넘어 일반화됨을 보장하지 않는다는 점이 알려져 있다. Neural ODE, PINN, PINO 등에서 특정 조건에서 overfitting이나 일반화 실패가 발생함이 개별적으로 보고되어 왔다.
• Gap: 기존 연구들은 특정 모델(PINN, PINO 등)의 개별 실패 사례를 경험적으로 보였을 뿐, 데이터의 function space가 일반화에 미치는 영향을 이론적으로 엄밀하게 규명하거나 여러 모델 클래스(underparameterized부터 overparameterized까지) 간 일반화 거동의 차이를 체계적으로 비교·분석하지 않았다.
• Why: 과학 계산처럼 고위험(high-consequence) 응용 분야에서 ML 모델이 실제로 올바른 물리를 학습했는지, OOD 상황에서도 신뢰할 수 있는지를 정량적으로 판별할 수 있는 이론적 근거와 해석 도구를 제공하기 때문에 중요하다.
• Approach: 1D Poisson 방정식과 그 Green's function을 이론적 앵커로 삼아, 선형 모델부터 신경망 기반 operator 학습 모델까지 다섯 가지 모델 클래스에 대해 training 데이터의 function space(다항식, sine, cosine, piecewise linear 등)와 grid 이산화가 일반화에 미치는 영향을 수학적으로 증명하고 실험적으로 검증한다.

Achievement

Figure 4. Cross-evaluation error heatmaps for four model types. Rows: training set; columns: test set. Dashed lines sepa

1. Underparameterized 물리 정보 모델의 수렴율 증명: 알려진 물리방정식을 inductive bias로 갖는 모델에서 추정 파라미터 w가 참값 k로 수렴하는 속도가 grid spacing ∆x, finite difference 차수 q, training function basis 차수 p에 의존함을 이론(Thm. 3.1)과 실험으로 입증했다.
2. 선형 문제의 exact parametrization 도출: 이산 solution operator A의 정확한 형태를 유도하고(Thm. 3.2), 학습된 weight가 training 데이터의 basis로 결정되는 A의 부분공간으로만 수렴함을 보였으며, ∆x는 오차가 아니라 학습된 파라미터의 스케일링에만 영향을 준다는 점을 밝혔다.
3. Overparameterized 신경망 모델의 일반화 실패 실증: deep model이 training data 밖에서 일반화를 보장받지 못하며, 부분공간(subspace) 일반화조차 보장되지 않음을 실험으로 보이고, 이 맥락에서 Green's function mechanistic interpretation 시각화 기법을 도입했다.
4. DE 학습 전용 아키텍처의 한계 확인: DeepONet과 Fourier Neural Operator(FNO) 역시 black-box 모델과 유사하게 항상 일반화되지는 않음을 관찰했다.
5. Physics-informed 모델의 유사 실패 모드 발견: PINN과 Physics Informed DeepONet처럼 DE 사전 지식을 포함한 모델도 유사한 실패 모드를 보임을 실증했다.

전반적으로, 서로 다른 모델 클래스의 데이터 요구사항과 일반화 거동이 상반될 수 있음을 발견했다(예: 다항식 차수 증가가 선형 모델의 오차는 줄이지만 finite-difference 파라미터 fit의 오차는 늘림).

How

Figure 4. Cross-evaluation error heatmaps for four model types. Rows: training set; columns: test set. Dashed lines sepa

• 1D Poisson 방정식 (−k d²u/dx² = f(x), u(0)=u(1)=0)을 canonical 테스트베드로 사용하고, 해석적 Green's function G(s,x)를 이론적 기준(ground truth)으로 삼음
• 함수공간 F(type, p) (다항식, sine, cosine, piecewise linear 등)로부터 샘플링하여 다양한 training/test 데이터셋을 구성하고, grid spacing ∆x를 변화시켜 이산화 영향을 분리
• 일반화를 L(W, Ftest) ≲ L(W, Ftrain) 형태의 부등식으로 정식화하고, 서로 다른 함수공간 간 cross-validation(모델을 한 subspace에서 학습 후 다른 subspace에서 평가)을 도입
• 다섯 가지 모델 클래스(underparameterized physics-informed fit, exact linear operator 학습, overparameterized 신경망, DeepONet/FNO, PINN/Physics-informed DeepONet)에 대해 이론적 증명(Thm 3.1, 3.2)과 heatmap 기반 실험적 검증을 병행
• 학습된 weight matrix W와 그 역행렬 W⁻¹을 Green's function 이산화 A 및 미분연산자 L=A⁻¹과 비교하는 mechanistic interpretability 시각화 기법 제안 (DINO의 attention map 시각화에서 착안)

Originality

• Green's function을 단순히 PDE를 풀거나 모델링하는 도구가 아니라, 학습된 black-box 모델의 weight로부터 물리적으로 해석 가능한 구조를 추출하는 mechanistic interpretability 렌즈로 재활용한 점이 독창적임
• 데이터의 양이나 이산화가 아니라 training 데이터의 function space(basis) 자체가 일반화를 결정짓는 핵심 요인임을 이론적으로 규명한 점
• underparameterized부터 overparameterized까지 다섯 가지 이질적 모델 클래스를 동일한 이론·실험 프레임워크 하에서 비교하여, 모델 클래스 간 일반화 거동이 서로 상반될 수 있음(한 모델에 유리한 데이터 조건이 다른 모델에는 불리)을 발견한 점
• function space가 다른 subspace 간 교차 평가를 수행하는 새로운 cross-validation 절차를 물리 시스템의 일반화 측정 벤치마크로 제안

Limitation & Further Study

• 이론적 분석과 대부분의 실증 사례가 1D Poisson 방정식이라는 매우 단순한 선형 DE에 국한되어 있어, 비선형 PDE나 고차원 시스템으로의 확장 가능성이 명확히 검증되지 않음
• Green's function 기반 해석은 선형 연산자에 대해서만 명확히 정의되므로, 비선형 모델이나 복잡한 경계조건을 갖는 실제 과학 문제에 이 mechanistic interpretability 기법이 얼마나 일반화될지 불확실함
• 제안된 cross-validation 기법이 벤치마크로서의 실용성을 갖추려면 더 다양한 실제 물리 시스템과 최신 아키텍처(예: 최신 Neural Operator 변형)에 대한 폭넓은 검증이 후속 연구로 필요함
• function space의 종류(다항식, sine, cosine 등)를 사전에 알고 설계해야 한다는 점에서, 실제 미지의 물리 시스템에 적용 시 적절한 function space를 어떻게 선택할지에 대한 실용적 가이드라인이 부족함

Evaluation

총평: 단순하지만 근본적인 1D Poisson 문제를 통해 ML 기반 과학 모델의 일반화 실패를 엄밀한 수치해석적 이론으로 설명하고, Green's function을 활용한 새로운 해석가능성 도구를 제시한 점에서 SciML 커뮤니티에 유용한 통찰과 벤치마크 방법론을 제공하는 견실한 연구이다.