Transolver-3: Scaling Up Transformer Solvers to Industrial-Scale Geometries

Motivation

• Known: Transolver는 Physics-Attention을 통해 복잡한 지오메트리에서 물리적 상관관계를 잘 포착하지만 최대 70만 셀까지만 처리 가능하며, Transolver++는 멀티 GPU 병렬화로 백만 규모 메쉬까지 확장했으나 1억 셀 이상 처리에는 수백 개의 GPU가 필요하다.
• Gap: 기존 neural PDE solver들은 알고리즘적 복잡도 개선 없이 하드웨어 병렬화에 의존하여 확장성을 확보했기 때문에, 단일 또는 소수 GPU 환경에서 1억 셀 이상의 실제 산업용 메쉬(항공기, 자동차 설계 등)를 학습·추론하는 것은 메모리 복잡도 문제로 여전히 불가능하다.
• Why: 실제 산업 CAE 워크플로우(항공기, 자동차 공력 설계 등)는 1억 개 이상의 셀을 가진 초고해상도 메쉬를 요구하므로, 하드웨어 제약 없이 이러한 규모를 처리할 수 있는 neural PDE solver는 시뮬레이션 시간을 대폭 단축시켜 실질적인 산업 적용 가치를 지닌다.
• Approach: Physics-Attention의 slice/deslice 연산 복잡도를 분석하여 행렬 곱셈의 결합법칙(associative property)과 geometry slice tiling을 통해 단일 GPU 처리량을 극대화하고, 학습 단계에서는 고해상도 메쉬의 무작위 부분집합으로 학습하는 amortized training을, 추론 단계에서는 물리 상태를 캐싱하는 decoupled inference 기법을 도입한다.

Achievement

1. Physics-Attention 구조 최적화: slice와 deslice 연산에 행렬 결합법칙을 적용하고 geometry slice tiling을 도입하여 Transolver++ 대비 약 1.9배의 단일 GPU 처리 용량(capacity)을 달성했다.
2. Geometry amortized training: 원본 고해상도 메쉬의 무작위 부분집합(random subsets)으로 학습함으로써 1억 셀 이상의 산업용 지오메트리에서도 학습이 가능하도록 했다.
3. Decoupled inference framework: 물리 상태 추정(physical state estimation)과 필드 예측(field prediction)을 분리하고 physical state caching을 통해 전체 해상도 메쉬에서 고정밀 예측을 가능하게 했다.
4. 산업 규모 벤치마크에서의 SOTA 성능: 항공기 및 자동차 설계를 포함한 세 가지 산업 규모 벤치마크에서 1.6억 개 이상의 셀을 가진 메쉬를 처리하며 일관된 최고 성능(state-of-the-art)을 달성했다.

How

• Physics-Attention의 slice/deslice 연산에 대한 상세한 복잡도 분석(complexity analysis)을 수행하여 병목 지점을 식별
• 행렬 곱셈의 associative property를 활용한 faster slice/deslice 연산 재구성으로 중간 텐서 메모리 사용량 감소
• geometry slice tiling을 통해 물리 상태(physical state) 계산을 분할하여 처리
• geometry amortized training strategy: 원본 고해상도 메쉬에서 무작위로 부분집합을 샘플링하여 학습에 사용, 이를 통해 모델이 전체 메쉬를 한 번에 처리하지 않고도 기저 물리 법칙(underlying physics laws)을 학습
• 추론 시 physical state estimation과 field prediction을 분리하는 decoupled inference framework 도입
• 전역 정보(global information)를 physical state cache에 집계하여, 캐시를 활용해 전체 해상도 메쉬(full-resolution mesh)에서 필드 예측을 수행
• ShapeNet Car, DrivAerNet++, DrivAerML 등 최대 1.6억 셀 규모의 세 가지 산업 벤치마크에서 실험 진행

Originality

• Transolver 계열(Physics-Attention 기반)의 알고리즘적 복잡도 자체를 최적화한 최초의 시도로, 기존 Transolver++가 순수 하드웨어(멀티 GPU) 병렬화에 의존한 것과 차별화됨
• 행렬 결합법칙을 활용한 slice/deslice 재구성이라는 수학적으로 간단하지만 실용적인 최적화 기법 제시
• 학습과 추론 단계를 분리하여 각각 다른 전략(amortized training, decoupled inference with caching)을 적용하는 체계적 접근
• 실제 1.6억 셀 규모의 산업용 메쉬(항공기, 자동차)에서 검증했다는 점에서 기존 연구(대부분 10^6 셀 이하)와 규모 면에서 큰 차별성을 지님

Limitation & Further Study

• amortized training이 무작위 부분집합 학습에 의존하므로, 전체 메쉬의 글로벌 상관관계를 학습 단계에서 완전히 포착하지 못할 가능성이 있으며 이에 대한 이론적 분석이 부족함
• physical state caching이 추론 시 정확도와 메모리 효율 사이의 트레이드오프에 어떤 영향을 미치는지에 대한 심층 분석이 제한적일 수 있음
• 여전히 단일 혹은 소수 GPU를 전제로 한 최적화이며, 초거대 시계열(time-dependent) 시뮬레이션이나 더 극단적인 스케일(예: 10^9 셀 이상)로의 확장 가능성은 추가 검증이 필요함
• 세 가지 벤치마크(주로 자동차/항공기 공력 설계)에 국한되어 다양한 물리 도메인(예: 전자기, 열유동 등)에 대한 일반화 검증이 부족함

Evaluation

총평: 알고리즘 복잡도 개선과 학습/추론 단계별 전략을 결합하여 하드웨어 병렬화에만 의존하지 않고 1억 셀 이상의 산업용 메쉬를 처리 가능하게 한 실용적이고 의미 있는 확장 연구로, 산업 적용 가능성이 높은 견고한 기여로 평가된다.