GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Training

Motivation

• Known: Neural simulator(신경 시뮬레이터)는 FNO, Transformer 기반 neural operator 등으로 발전해 왔으며, Poseidon, DPOT, Unisolver, P3D 등 physics foundation model들이 특정 물리 계열에 대해 사전학습을 시도해왔다. 또한 3D geometry 이해를 위한 self-supervised pre-training(예: Hunyuan3D)은 존재하지만 주로 frozen encoder로서 보조 특징 추출에만 활용되어 왔다.
• Gap: 기존 physics foundation model들은 여전히 compute-heavy한 solver 생성 데이터에 의존해 확장성이 떨어지며, geometry-only pre-training은 정적 지오메트리만 학습하여 dynamics 정보를 무시함으로써 downstream physics task에 negative transfer를 유발할 수 있다는 근본적 한계가 있다.
• Why: 고fidelity 물리 시뮬레이션 라벨 생성 비용(예: DrivAerML에서 샘플당 6.1×10^4 CPU-hours)이 neural simulator 스케일링의 핵심 병목이므로, 라벨 없이도 방대한 기성 geometry 데이터를 활용해 사전학습할 수 있는 방법은 산업 설계 전반의 시뮬레이션 비용을 획기적으로 낮출 잠재력을 지닌다.
• Approach: geometry에 무작위 샘플링된 velocity field를 dynamics 조건으로 추가하고, geometry로 경계지어진 dynamics-induced transport trajectory를 self-supervision 신호로 사용하여 물리 라벨 없이 geometry-dynamics 결합 표현을 학습하는 lifted geometric pre-training을 제안한다.

Achievement

Figure 1. Neural aerodynamics simulation on DrivAerML (Ash-

1. GeoPT 프레임워크 제안: geometry-only supervision의 한계를 극복하기 위해 synthetic dynamics를 도입한 lifted geometric pre-training을 제안하여 물리 라벨 없이 dynamics-aware self-supervision을 가능하게 함.
2. 대규모 사전학습: 대형 3D geometry repository(ShapeNet 계열)로부터 100만 개 이상의 solver-free geometric-walk 샘플을 생성해 사전학습을 수행함.
3. 산업급 벤치마크 성능 개선: 자동차·항공기·선박의 유체역학과 충돌(crash) 시뮬레이션의 고체역학 등 다양한 산업 fidelity 벤치마크에서 일관된 성능 향상을 달성함.
4. 데이터 및 학습 효율성 향상: 라벨링된 물리 데이터 요구량을 20-60% 절감하고 수렴 속도를 최대 2배 가속화함.
5. 일반화 가능성 입증: radiosity 등 더 넓은 물리 도메인으로도 확장 가능함을 보여 architecture-agnostic한 확장 가능성을 시사함.

How

Figure 4. Overall design of GeoPT. (a) To ensure the pre-training diversity, we pre-train the model with geometry random

• Transolver를 백본으로 사용하되, 사전학습 방법 자체는 architecture-agnostic하게 설계함.
• geometry G와 시스템 조건 S(경계 조건, 외력, 지배 방정식, 초기 상태 등)를 정의하는 문제 설정을 도입함.
• geometry에 무작위 velocity field를 부여해 dynamics 조건을 합성하고, 이를 기반으로 geometry에 의해 경계지어진 transport trajectory(geometric-walk)를 생성함.
• 이 transport trajectory를 solver 없이 self-supervision 라벨로 사용해 사전학습을 수행함(물리 라벨 불필요).
• 사전학습 후, 특정 downstream physics task의 실제 시뮬레이션 조건으로 dynamics condition을 specializing하고 solver-generated label로 fine-tuning함.
• ShapeNet 기반 대규모 geometry repository에서 100만 개 이상의 샘플을 생성하여 사전학습에 사용함.
• DrivAerML(차량 공기역학), 항공기, 선박 유체역학, 충돌 시뮬레이션 등 다양한 산업 fidelity 벤치마크에서 fine-tuning 성능(정확도, 데이터 효율성, 수렴 속도)을 평가함.

Originality

• 기존 self-supervised pre-training 방법들이 pre-training data의 native space 내에서만 학습을 제한하는 것과 달리, downstream task가 요구하는 더 넓은(lifted) 공간에서 supervision을 정의하는 새로운 패러다임을 제시함.
• geometry-only supervision의 negative transfer 문제를 실증적으로 규명(Fig. 1, Fig. 3)하고, 이를 해결하기 위해 synthetic dynamics를 통한 "lifting" 개념을 도입한 점이 독창적임.
• 물리 라벨을 전혀 사용하지 않고도 dynamics-aware 표현을 학습하는 solver-free 사전학습 데이터 생성 방식(geometric-walk)을 고안함.
• 유체·고체역학을 아우르는 통합된(unified) 산업급 물리 시뮬레이션 사전학습 모델을 제시하고 radiosity 등 이종 물리 도메인으로의 일반화 가능성까지 시사함.

Limitation & Further Study

• synthetic dynamics(무작위 velocity field)가 실제 물리 법칙을 얼마나 충실히 반영하는지, 그리고 이 근사가 더 복잡하거나 비선형적인 물리 현상에도 유효한지에 대한 이론적 근거가 제한적으로 보임.
• 실험이 주로 Transolver 백본에 집중되어 있어 architecture-agnostic하다는 주장에 비해 다른 아키텍처(FNO 계열 등)에서의 검증이 부족할 수 있음.
• 사전학습 데이터가 ShapeNet과 같은 특정 3D 형상 도메인에 한정되어 있어, 더 다양한 실세계 지오메트리 분포에서의 일반화 성능은 추가 검증이 필요함.
• radiosity로의 확장은 언급되었으나 구체적 정량 결과의 폭이 제한적으로 보이며, 더 넓은 물리 도메인(전자기, 양자 시스템 등)으로의 확장 가능성은 추후 연구 과제로 남음.

Evaluation

총평: geometry-physics gap을 synthetic dynamics로 연결한다는 아이디어가 명확하고 실용적이며, 산업급 다중 물리 벤치마크에서의 일관된 성능 향상이 인상적이나, synthetic dynamics의 이론적 정당성과 다른 아키텍처로의 일반화 검증이 보완되면 더욱 완성도 높은 연구가 될 것이다.