G-RANS: Generalizable Residual-Aware Neural Solvers for Sparse Systems

Motivation

• Known: Neural operator(GNO, FNO 등)는 PDE solution 예측에 강력하지만 discretization으로 유도된 sparse linear system에서는 정확도와 일반화가 부족하며, hybrid neural-Krylov 방법(NeurKItt, DCDM, GNP, NP-KSG 등)은 neural preconditioning이나 warm-start로 classical Krylov solver를 보조하는 수준에 머물러 있다.
• Gap: 기존 hybrid neural iterative scheme들은 반복이 진행됨에 따라 residual distribution이 변화하면서 stagnation 문제가 발생하며(sub-NSS 실험에서 7-8 step 후 개선이 5% 미만으로 정체), extra supervision(eigenvector, solution pair 등)에 의존하거나 SPD 가정을 요구하는 등 범용성이 제한된다.
• Why: 고해상도 유체역학, 전자기파 전파 등 실제 시뮬레이션에서 PDE evaluation보다 discretization으로 생성된 대규모 sparse linear system 해결이 계산 병목이 되므로, 비대칭·비정치(indefinite) 시스템을 포함해 자기지도 방식으로 학습되며 classical Krylov solver 대비 wall-clock 효율을 높이는 standalone neural solver는 실용적 시뮬레이션 파이프라인에 중요한 기여가 된다.
• Approach: residual을 matrix graph 위에 표현하고 residual-aware basis generator(Poly-GAT, multi-scale GATv2 기반)로 correction subspace를 생성한 뒤, differentiable QR+least-squares subspace projection으로 residual-minimizing update를 적용하며, 전체 과정을 progressive bootstrap curriculum을 통해 self-supervised로 학습한다.

Achievement

Figure 1. Left: time–residual trade-off on representative sparse FEM systems (n≈1000), including a nonsymmetric advectio

1. 정확도 향상: G-RANS는 relative residual을 10^-5 수준까지 도달시키며 end-to-end neural operator(GNO, FNO) 대비 훨씬 높은 정확도를 보인다.
2. 일반화 강건성: 계수 shift가 최대 ±70%에 달해도 강건하며, Poisson, advection-diffusion, reaction-diffusion, Helmholtz 등 서로 다른 방정식 유형 간 cross-equation generalization을 보인다.
3. 속도 향상: 동일한 target residual 도달까지 classical Krylov solver(GMRES, FGMRES, MINRES) 대비 2-4배의 wall-clock time 단축을 달성한다.
4. preconditioning 호환성: Jacobi preconditioning과 결합해도 Krylov solver보다 빠른 성능을 유지한다.
5. 이론적 근거: G-RANS 방식의 subspace correction이 GMRES에 준하는 residual 감소 메커니즘을 갖는다는 이론적 분석을 제시한다.

How

Figure 2. G-RANS. Each iteration builds a residual-adaptive correction subspace via Residual-Aware Basis Generator (RBG;

• Residual-Base Graph Formulation: sparse matrix A를 directed graph G=(V,E)로 표현하고, 각 iteration의 residual r_t를 node feature에 결합하며 physical coordinate를 learnable positional encoder로 인코딩, residual을 그래프별로 정규화(normalize)하여 스케일을 안정화한다.
• Residual-Aware Basis Generator (RBG): Poly-GAT(multi-scale GATv2 기반 polynomial-style 네트워크)를 통해 residual r_t로부터 block 형태의 correction basis V_t∈R^(n×k)를 생성하며, residual-awareness와 multi-scale propagation을 동시에 만족하도록 설계된다.
• Differentiable Subspace Projection: 예측된 basis를 QR 분해와 least squares를 이용한 differentiable numerical projection으로 변환하여 residual을 최소화하는 update를 계산, solver iteration 전체를 end-to-end로 미분 가능하게 만든다.
• Progressive Bootstrap Curriculum: solver trajectory에서 생성된 residual을 재활용해 multi-stage residual distribution을 training input으로 사용함으로써 완전한 self-supervised 학습을 수행, residual shift에 따른 stagnation을 완화한다.

Originality

• 기존 hybrid 방법들이 neural preconditioning이나 warm-start를 통해 classical Krylov iteration을 보조하는 수준에 머문 것과 달리, G-RANS는 numerical solver를 accuracy backbone으로 사용하지 않는 standalone neural iterative solver를 제안한다.
• residual을 matrix graph에 직접 매핑하여 iteration마다 변화하는 residual distribution에 적응하는 residual-aware subspace correction 개념을 도입해 stagnation 문제를 명시적으로 해결한다.
• SPD 가정 없이 nonsymmetric·indefinite system을 모두 지원하며, eigenvector나 solution pair 등 extra label 없이 완전 self-supervised로 학습되는 점이 기존 NeurKItt, DCDM, GNP 등과 차별화된다.
• GMRES와의 이론적 연결을 통해 subspace correction 메커니즘의 수렴성을 정당화한다.

Limitation & Further Study

• 실험이 problem size n≈1K~2K 수준의 상대적으로 작은 sparse FEM system에 국한되어 있어, 대규모 실제 산업급 시스템(수백만 자유도)으로의 scalability 검증이 부족하다.
• 평가 대상이 2차 elliptic PDE 계열(Poisson, advection-diffusion, reaction-diffusion, Helmholtz)에 한정되어 있어 비선형 PDE나 시간의존 시스템, 3차원 복잡 geometry에 대한 일반화는 추가 검증이 필요하다.
• Krylov solver 대비 속도 우위가 특정 target residual(약 10^-5) 구간에서 측정된 것으로, 더 높은 정확도가 요구되는 응용에서의 성능은 불명확하다.
• Jacobi preconditioning 외 다른 advanced preconditioner(ILU, AMG 등)와의 결합 성능 비교가 제한적이다.

Evaluation

총평: neural operator와 classical iterative solver 사이의 간극을 residual-aware subspace correction이라는 새로운 패러다임으로 메우며, self-supervised 학습과 이론적 뒷받침을 겸비한 실용적이고 독창적인 연구로 평가된다. 다만 대규모 시스템과 더 넓은 PDE class에 대한 추가 검증이 향후 영향력 확대에 중요할 것이다.