Discovering Scaling Exponents with Physics-Informed Müntz-Szász Networks

Motivation

• Known: PINN은 PDE residual과 boundary condition을 통해 forward/inverse 문제를 잘 풀지만 학습된 solution의 구조(예: scaling exponent)는 explicit하게 드러나지 않으며, ReLU 기반 MLP는 x^α 같은 power-law 함수를 근사하는 데 O(ε^-2) 개의 뉴런이 필요하고 exponent가 수백만 개 weight 속에 숨어버린다. 기존 MSN(N'guessan, 2025)은 trainable power-law basis를 도입했지만 physics-informed 설정에서 exponent identifiability를 다루지 않았다.
• Gap: 기존 신경망 및 PINN 아키텍처는 solution fit에 최적화되어 있어 corner singularity, forcing-induced singularity 등에서 물리적으로 의미 있는 scaling exponent를 explicit하게 추출하지 못하고, post-hoc 분석에 의존해야 하며 그 과정이 fragile하다. 또한 언제 true exponent가 데이터나 PDE 제약으로부터 유일하게(identifiable) 복원 가능한지에 대한 이론적 보장이 부재하다.
• Why: 균열 선단 응력장, 난류 에너지 스펙트럼, 재진입 코너에서의 Laplace 해 등 exponent 자체가 파괴 인성, universality class, solution regularity 등 핵심 물리량을 인코딩하므로, exponent를 labeled solution data 없이 PDE 물리 제약만으로 정확히 discover할 수 있는 방법은 과학적 발견 및 모델 검증에 실질적 가치를 지닌다.
• Approach: Müntz-Szász 급수 형태의 ansatz u(x) = Σ c_k x^{μ_k}에서 exponent μ_k를 coefficient c_k와 함께 trainable parameter로 두고, PDE residual과 boundary condition을 강제하는 physics-informed loss로 학습하여 exponent를 explicit하게 복원한다.

Achievement

Figure 2. Corner singularity: MSN-PINN recovers the result of

1. Identifiability 이론: exponent 유일 복원 조건을 규명하고, 학습된 exponent와 true exponent 간 squared error가 O(|μ-α|²)로 스케일함을 증명(Theorem 4.4, 4.5), Rayleigh Limit과 유사한 separation condition을 도출.
2. Single-exponent recovery: 노이즈 및 sparse sampling 하에서 1–5% 오차로 exponent 복원.
3. Corner singularity 검증: 2D Laplace 방정식의 corner singularity exponent를 0.009% 오차로 복원, Kondrat'ev(1967)의 고전적 결과와 일치.
4. Singular forcing 문제: 두 개의 exponent를 0.03%, 0.05% 오차로 동시에 복원.
5. Wedge benchmark: 40개 configuration에서 100% 성공률, 평균 0.022% 오차 달성.
6. Constraint-aware training: BC compatibility 등 물리적 제약을 encode하는 loss를 추가해 naive training 대비 3자릿수(14.6%→0.009%) 정확도 향상.

How

Figure 1. MSN-PINN discovers scaling exponents directly from physics. Unlike standard neural networks that hide exponent

• MSN ansatz u_θ(x)=Σ_{k=1}^K c_k x^{μ_k}를 정의하고 θ=(μ,c)를 함께 최적화.
• PDE residual, boundary condition을 physics-informed loss term으로 구성하여 labeled solution 없이 학습(Section 3.3).
• Wedge singularity 문제에서는 constraint-aware loss L_constraint = Σ_k |c_k| sin²(μ_k ω)를 추가하여 exponent를 물리적으로 유효한 값 μ=nπ/ω로 유도.
• 노이즈 및 sparse sampling 조건에서 single exponent recovery 실험(Fig. 4, 5) 수행.
• 2D Laplace corner singularity(Fig. 2), singular Poisson forcing 문제(Fig. 3), 40-configuration wedge benchmark(Appendix I)에서 검증.
• identifiability 정리 및 안정성 bound를 수학적으로 증명(Theorem 4.4, 4.5).

Originality

• 기존 MSN 아키텍처를 단일 Müntz expansion으로 특화하여 exponent identifiability를 분석 가능하게 만든 점.
• PINN 프레임워크에 exponent를 explicit trainable parameter로 결합해 labeled data 없이 PDE 물리 제약만으로 scaling law를 discover하는 새로운 문제 설정.
• exponent recovery의 identifiability와 noise에 대한 안정성을 Rayleigh Limit에 비유한 separation condition으로 이론화한 점.
• 물리적 요구사항(BC compatibility 등)을 명시적 constraint loss로 인코딩하여 정확도를 극적으로 개선한 constraint-aware training 기법.

Limitation & Further Study

• 본 논문은 단일 Müntz expansion(단일 basis 층)에 국한되어 있어, 복합적이거나 mixed parity를 갖는 복잡한 physical system에는 full MSN(깊은 compositional stack)이 필요하며 이 경우 identifiability 보장이 어떻게 확장되는지는 다루지 않음.
• 실험이 주로 1D/2D의 비교적 단순한 singular PDE(Laplace, Poisson, wedge) 및 low-dimensional ODE에 한정되어 있어, 고차원 또는 복잡한 비선형 PDE로의 일반화 가능성은 검증되지 않음.
• constraint-aware loss(L_constraint)는 wedge geometry처럼 exponent의 해석적 형태(μ=nπ/ω)가 알려진 경우에 특화되어 있어, 그런 사전 지식이 없는 일반 문제에서는 적용이 제한적일 수 있음.
• 향후 연구로 full MSN 아키텍처와의 결합, 고차원 문제로의 확장, 다양한 constraint 유형에 대한 일반화된 프레임워크 개발이 필요함.

Evaluation

총평: exponent를 explicit하고 interpretable한 parameter로 취급하는 아이디어를 physics-informed 학습과 결합해 이론적 근거와 실험적 검증을 모두 갖춘 견고한 연구로, 과학적 discovery 도구로서의 실용적 가치가 크다. 다만 단순한 setting에 한정된 실험 범위와 full MSN으로의 확장성 검증 부족은 향후 보완이 필요하다.