PINNfluence: Interpreting PINNs through Influence Functions

Motivation

• Known: PINN은 PDE 제약을 신경망 학습 목적함수에 내재화하여 유체역학, 전자기학, 질병 모델링 등 다양한 물리 문제를 근사하는 데 널리 사용되고 있으나, 학습 실패(failure mode) 시 그 원인을 이해하기 어렵다는 문제가 있다. Influence function은 training data attribution(TDA) 기법으로서 컴퓨터 비전 및 대형 언어 모델 도메인에서 모델 디버깅, 기억(memorization) 탐지, 유해 데이터 식별 등에 효과적으로 활용되어 왔다.
• Gap: 기존 PINN 분석은 학습 동역학, failure mode, ill-conditioned loss landscape에 대한 관찰에 주로 의존하며, 개별 training point와 물리 제약(physics constraint)이 모델 예측을 구체적으로 어떻게 형성하는지 밝히는 attribution 기반의 해석 방법은 부재하다. 특히 PINN은 훈련 손실이 낮아도 PDE의 실제 해와 다를 수 있는 verification 문제를 지니므로, residual 검사만으로는 드러나지 않는 병리적 구조를 진단할 training-data-centric 해석 도구가 필요하다.
• Why: PINN이 실제 과학 및 공학 분야에 폭넓게 채택되기 위해서는 신뢰성과 투명성이 중요한데, 본 연구는 개별 training point와 loss component 단위로 모델 행동을 귀속시켜 진단할 수 있는 도구를 제공함으로써 PINN의 신뢰성 향상과 실패 원인 규명에 기여할 수 있다.
• Approach: Koh & Liang(2017)의 influence function을 확장하여, PINN의 composite physics-informed loss(즉 PDE residual loss와 boundary/initial condition loss의 조합)에 대해 예측, loss component, training data point 간의 세밀한(fine-grained) attribution을 가능하게 하는 PINNfluence 프레임워크를 도입한다.

Achievement

다섯 개의 시간 종속 PDE에 대한 벤치마크 실험을 통해 well-trained 모델과 poorly-trained 모델 사이의 일관된 구조적 차이를 확인하였다. 특히 well-trained 모델은 시간이 지남에 따라 initial condition(IC)의 영향이 감소하는 반면, poorly-trained 모델은 IC에 대한 의존성이 지속되는 패턴을 보였다.

How

• Koh & Liang(2017)의 원래 influence function 정의를 strict minima가 아닌 non-degenerate stationary point로 확장하여, saddle point에 자주 수렴하는 신경망 훈련 및 ill-conditioned PINN 최적화 지형에도 적용 가능하도록 일반화함
• loss landscape에 대한 필요 가정(strong convexity 등)을 재검토·정제함
• f를 임의의 미분 가능 함수로 허용함으로써, loss-to-loss attribution을 넘어 임의의 관심 대상(quantity)에서 composite objective의 임의 구성요소로의 influence 계산이 가능하도록 InfL→f_θ0(x, z) 정의를 일반화함 (식 4)
• PDE residual loss(Lpde), 개별 boundary/initial condition loss(Lbc,k) 등 composite loss의 각 항목별로 influence를 분해하여, point-to-region influence heatmap, temporal influence, inter-regional influence 등 다양한 진단 지표(toolbox)를 구축함
• 다섯 개 시간 종속 PDE 벤치마크(예: drift-diffusion 문제 등)에서 학습 성공/실패 모델을 비교 분석함

Originality

• influence function을 loss-to-loss attribution에서 임의의 미분 가능 함수(prediction, physical observable 등)로의 attribution으로 일반화하여 composite physics-informed objective에 적용한 최초의 시도로 보임
• strict minima 가정을 non-degenerate stationary point로 완화하여 PINN의 ill-conditioned 최적화 지형에 맞게 이론을 재정비함
• loss component별(예: PDE residual vs. IC/BC) influence 분해와 temporal/directional/region-to-region 진단 지표라는 새로운 해석 도구 세트를 제안함

Limitation & Further Study

• influence function은 leave-one-out retraining에 대한 선형 근사이므로, 신경망의 비선형성이 강한 영역이나 훈련이 심하게 발산한 poorly-trained 모델에서는 근사 정확도가 떨어질 가능성이 있음
• Hessian 역행렬 계산의 근사(예: LiSSA 등 확장 방법 필요)에 따른 계산 비용 및 안정성 문제가 대규모 PINN이나 고차원 PDE에는 언급되지 않아 확장성 검증이 필요함
• 다섯 개의 시간 종속 PDE 벤치마크에 한정되어 있어, 공간만의 정상상태(steady-state) PDE나 더 복잡한 다중 물리(multi-physics) 시스템으로의 일반화 가능성은 추가 검증이 필요함
• 제안된 진단 지표들이 실제로 PINN 훈련을 개선하는 데(예: adaptive sampling이나 loss weighting 개선) 어떻게 활용될 수 있는지에 대한 실증적 후속 연구가 필요함

Evaluation

총평: PINN의 해석가능성이라는 중요하지만 상대적으로 미개척된 문제에 influence function이라는 확립된 TDA 기법을 이론적으로 확장하여 적용한 참신하고 시의적절한 연구로, 향후 PINN 진단 및 개선을 위한 새로운 방법론적 토대를 제공한다.