PGD-NO: A Neural Operator with Precomputed Geometry Decomposition for 3D Million-Scale Physics Simulations

Motivation

• Known: 기존 neural PDE solver는 graph-based, grid-based, point-based로 구분되며, Transolver++ 같은 point-based 모델은 physics-attention을 통해 학습 가능한 "physics token"을 추출해 million-scale 문제까지 확장을 시도해왔다.
• Gap: Transolver++를 포함한 기존 architecture들은 기하학적 인코딩이 학습 기반으로 이루어지기 때문에 GPU 메모리 소모가 크고, mesh 크기가 1천만 노드를 넘어서면 단일 compute node의 VRAM으로 처리 불가능한 "single-node bottleneck"에 부딪히며, 이를 여러 노드로 확장하려면 inter-node communication으로 인한 심각한 지연이 발생한다.
• Why: 산업 설계에서는 수백만~천만 노드 규모의 고충실도 mesh 시뮬레이션이 필요하지만, 기존 neural operator는 하드웨어 메모리 한계로 이러한 규모를 실용적으로 다룰 수 없어 대규모 산업용 시뮬레이션 가속화의 실질적 병목이 되고 있다.
• Approach: 기하학적 특징 추출을 학습이 아닌 반복적(iterative) 결정론적 decomposition 알고리즘으로 사전 계산하여 "geometry token"을 만들고, feature extraction과 solution querying을 분리하는 decoding architecture(PGD-NO)를 통해 이를 PDE solution 예측에 활용한다.

Achievement

Figure 3. Visualization of 3D industrial benchmarks. (Top) Geometry tokens generated via our iterative decomposition alg

1. 선형 메모리 확장성 달성: PGD-NO는 GH200 시스템에서 기존 grid-based(GINO), point-based(Transolver++) 모델 대비 가장 낮은 peak GPU memory footprint를 유지하며 1천만 노드 이상 mesh를 단일 컴퓨팅 자원으로 처리 가능함을 보였다.
2. 경쟁력 있는 예측 정확도: 5개의 산업용 벤치마크(자체 생성한 최대 1,200만 노드 데이터셋 포함)에서 기존 SOTA 방법 대비 우수하거나 동등한 성능을 달성했다.
3. 효율적 학습 및 해석가능성: random sampling을 통한 효율적 학습을 가능하게 하고, attention 메커니즘을 통해 물리적 예측에 대한 내재적 해석가능성(interpretability)을 제공한다.

How

Figure 2. PGD-NO architecture and layer variants. (Top) Model pipeline: a pre-computed segmentation matrix extracts geom

• 결정론적(hierarchical) geometry decomposition 알고리즘을 도입해 mesh로부터 non-learnable한 "geometry token"을 사전에(pre-compute) 추출
• geometry encoding을 학습 과정에서 분리하여 solution querying 단계에서만 decoding network가 attention 기반으로 pre-computed token을 활용하도록 설계
• inter-node communication이 필요 없는 구조로 만들어 million-scale mesh를 단일 노드에서 처리 가능하게 함
• 5개의 산업용 벤치마크(최대 1,200만 노드 규모의 자체 생성 데이터셋 포함)에서 Transolver++, GINO 등 기존 SOTA와 비교 실험 수행
• attention weight를 활용한 multi-layer nodal importance mapping으로 모델의 해석가능성 분석

Originality

• 기존 연구들이 기하학적 인코딩을 학습 가능한 네트워크(예: physics-attention, grid mapping)로 수행한 것과 달리, 결정론적 알고리즘으로 사전계산된 geometry token 개념을 도입해 encoding 자체를 학습 과정에서 완전히 제거
• geometry encoding과 solution querying을 분리(decouple)하는 구조를 통해 inter-node communication 문제를 근본적으로 회피하는 새로운 패러다임 제시
• 1,200만 노드 규모의 자체 생성 산업용 3D 데이터셋을 새로 구축하여 초대형 mesh 벤치마크로 활용

Limitation & Further Study

• geometry decomposition 알고리즘이 결정론적이라는 것은 곧 기하학적 특성 변화(예: 매우 다양한 topology나 극단적 non-convex 형상)에 대한 적응력이 제한적일 가능성이 있으며, 이에 대한 민감도 분석이 부족해 보임
• 사전계산 단계의 알고리즘 복잡도 및 전처리 시간에 대한 구체적 비용 분석이 발췌 내용에서 명확히 드러나지 않아, 실제 산업 파이프라인에 통합 시 추가 오버헤드 여부를 확인할 필요가 있음
• Dassault Systèmes 소속 저자들이 참여하고 데이터셋 일부도 해당 기업이 제공하여, 벤치마크 선정이나 비교 대상 설정에 이해상충 가능성에 대한 독립적 검증이 요구됨
• 후속 연구로는 다양한 PDE 유형(예: 시간 종속 문제, 다중 물리 결합 문제)으로의 일반화 가능성 검증이 필요

Evaluation

총평: 기하학적 인코딩을 결정론적 사전계산으로 대체한다는 아이디어는 neural PDE solver의 고질적인 메모리 병목 문제에 대한 실용적이고 참신한 해법을 제시하며, 대규모 산업 벤치마크에서의 실증적 검증도 설득력 있게 이루어졌다.