Unveiling Multi-regime Patterns in SciML: Distinct Failure Modes and Regime-specific Optimization

Motivation

• Known: 기존 연구는 CV/NLP 모델에서 loss landscape의 sharpness, connectivity 등 국소·전역 구조를 이용해 훈련 regime을 구분하는 diagnostic 접근(Yang et al., 2021; Zhou et al., 2023b)을 제안했으며, SciML 분야에서는 PINN의 최적화 난제, NO의 해상도/aliasing 문제, NODE의 discretization/연속성 실패 등 개별 모델별 실패 원인이 각각 보고되어 왔다.
• Gap: 기존 SciML 실패 모드 연구는 소수의 개별 설정에 국한되어 있어, 어떤 방법이 언제 신뢰 가능한지, 왜 실패하는지, 어떤 개입(최적화/훈련 기법 vs. 모델 설계 개선)이 강건성을 가장 효과적으로 개선하는지에 대한 통합적·조작적 관점이 부재하다.
• Why: SciML 모델은 물리적 regime과 훈련 regime이 강하게 상호작용하여 CV/NLP보다 훨씬 복잡하고 non-convex한 loss landscape를 가지며, 표준 성능 지표(예: Hessian sharpness)가 실제 훈련 상태를 오도할 수 있어, task-agnostic한 regime 인식 진단 프레임워크가 SciML 모델의 강건성 개선을 위한 실질적 가이드를 제공할 수 있기 때문에 중요하다.
• Approach: 성능, 훈련 동역학, loss-landscape geometry를 동시에 분석하는 regime-aware diagnostic framework를 도입하여, 물리적 regime(방정식 종류·파라미터)과 훈련 regime(옵티마이저·제약 처리·collocation 설계)을 체계적으로 변화시키며 SciML 모델들의 행동을 지도화(mapping)한다.

Achievement

Figure 3. Regime maps for physics-constrained SciML models under varying optimization and training strategies. The first

1. 세 가지 regime의 일관된 발견: PINN, FNO, PINO, NODE, PINODE 등 다양한 모델군, 제약 처리 방식, 옵티마이저 설계 전반에서 training-error/test-error 도표 상 뚜렷한 경계로 구분되는 Well-Trained, Under-Trained, Over-Trained의 세 regime 구조가 일관되게 나타남을 확인했다.
2. 최적화 효과의 regime 특이성 규명: Adam, L-BFGS, NNCG, ALM, CL, RoPINN 등 다양한 최적화·훈련 개입 방법의 효과를 regime별로 분석하여, 모든 regime에서 균일하게 우수한 단일 방법은 없으며 방법별로 효과적인 regime이 다름을 보였다(Figure 3, 4).
3. 미세한 실패 모드와 표준 지표의 오도 현상 발견: loss가 0에 가깝게 감소함에도 Hessian trace와 leading eigenvalue가 계속 증가하는 'deceptive sharpness', 그리고 Hessian이 정상적으로 보이지만 훈련 loss가 높게 유지되는 'deceptive flatness' 현상을 관찰하여, CV/NLP에서 통용되는 Hessian-loss 상관관계 기반 해석이 SciML에서는 깨질 수 있음을 규명했다.

How

Figure 5. Comparison of 3D loss landscapes across PINN, FNO, and ResNet models. Panels (a,b) and (c,d) visualize the non

• PINN(1D convection, reaction, wave, reaction-diffusion), FNO(2D Poisson, advection-diffusion), PINO(2D Darcy flow), NODE/PINODE(nonlinear pendulum) 등 5개 주요 SciML 모델과 대표적 ODE/PDE 벤치마크를 사용
• Adam, L-BFGS, NNCG(NysNewton-CG), ALM(augmented Lagrangian method), CL(curriculum learning), RoPINN 등 다양한 최적화·제약 처리·훈련 전략을 적용하여 파라미터-업데이트 동역학, 제약 공식화, 훈련 궤적, collocation conditioning 각 측면에서 개입
• training-error 대비 test-error를 축으로 하는 regime plot을 구성해 세 regime의 경계를 시각화(Figure 1, 2, 3)
• Hessian trace, leading eigenvalue 등 loss-landscape sharpness 지표와 3D loss landscape 시각화(Figure 5)를 훈련 동역학·성능과 함께 종합 분석하여 regime별 특성과 병리적 현상을 진단
• 5개(PINN, FNO) 또는 3개(나머지) random seed를 사용해 결과의 일관성을 검증

Originality

• CV/NLP에서 확립된 loss-landscape 기반 regime diagnostic 개념(Yang et al., 2021; Zhou et al., 2023b)을 SciML이라는 새로운 도메인으로 확장하고, 물리적 제약과 discretization이라는 문제 특이적 구조를 진단 프레임워크에 통합한 점
• PINN, NO, NODE라는 이질적인 SciML 모델군을 하나의 통일된 task-oblivious regime 관점으로 묶어 분석한 최초의 시도
• deceptive sharpness/deceptive flatness와 같이 SciML 특유의 Hessian-loss 상관관계 붕괴 현상을 구체적으로 명명하고 실증한 점, 그리고 5가지 CV/NLP 기반 loss landscape 이상 현상이 SciML에 적용되는지 여부를 체계적으로 검토한 점

Limitation & Further Study

• 분석이 특정 벤치마크(1D/2D PDE, 단순 ODE 계열)와 5개 대표 모델에 국한되어 있어, 더 고차원적이거나 복잡한 실제 과학 문제로의 일반화 가능성은 추가 검증이 필요함
• regime 경계가 주로 training/test error plot 상의 시각적·경험적 구분에 의존하고 있어, 이를 정량적으로 자동 판별하는 기준이나 이론적 근거가 부족함
• 제안된 진단 프레임워크가 실패 모드를 측정 가능하게 만드는 데 초점을 맞추고 있으나, 이를 바탕으로 한 구체적인 regime-aware 최적화 알고리즘이나 자동화된 개입 전략의 제시는 제한적이며 후속 연구 과제로 남아 있음

Evaluation

총평: 여러 SciML 모델군에 걸쳐 일관된 세 regime 구조와 regime별 최적화 효과 차이, 그리고 표준 loss-landscape 지표의 오도 가능성을 실증적으로 규명한 폭넓고 체계적인 진단 연구로, SciML 강건성 연구에 실질적인 방법론적 기여를 한다.