Learning 3D-Gaussian Simulators from RGB Videos

Motivation

• Known: 2D video generation model은 실세계 물리를 데이터로부터 학습할 수 있지만 spatial consistency와 object permanence 문제가 있으며, GNN 기반 particle-based simulator(PBS)는 rigid/soft/fluid 등 다양한 물리 현상을 모델링할 수 있으나 object-level track, depth sensor, 물리적 prior 등 privileged signal이나 hand-crafted graph construction(kNN, 거리 기반 edge feature)에 의존해 확장성이 제한된다.
• Gap: 기존 GNN 기반 PBS는 kNN 및 거리 계산 비용이 forward time의 54%를 차지할 만큼 비효율적이며 graph 구조에 내재된 relational inductive bias와 hand-crafted feature 설계에 의존한다. 또한 temporal correspondence를 다루기 위한 abstract temporal node 방식은 2-step horizon에 제한되어 추가 timestep마다 별도 모델 학습이 필요하다는 한계가 있다.
• Why: RGB 영상만으로 3D 구조를 인식하는 물리 시뮬레이터를 학습할 수 있다면, 로봇의 세탁기 열기·빨래 개기·식물 관리 같은 실제 embodied task에 필요한 시각적·물리적으로 realistic한 시뮬레이션을 privileged signal이나 exact geometry/pose/material parameter 없이 데이터 기반으로 확보할 수 있어 확장 가능하고 재현 가능한 visuo-physical simulation 연구의 기반이 된다.
• Approach: MVSplat 기반 inverse renderer로 multi-view RGB에서 point-wise latent particle feature를 추출하고, graph 구조 대신 space-filling curve 기반 정렬과 sparse convolution을 사용하는 Point Transformer(PTv3 스타일)로 particle dynamics를 예측한 뒤, Temporal Merging module로 시간적으로 일관되게 정보를 집계하고 Gaussian Splatting으로 novel-view 다음 프레임 이미지를 렌더링하여 reconstruction loss로 inverse rendering과 dynamics forecasting을 공동 학습한다.

Achievement

Figure 2. Qualitative examples of 3DGSim’s dynamic predictions. After training on less than 6 minutes of video per objec

1. 다양한 물리 거동 재현: rigid body, elastic(elasto-plastic) 변형, cloth-like dynamics 및 boundary condition(예: 고정된 천 모서리)을 하나의 모델로 학습해 사실적인 조명 효과와 함께 예측 가능함을 보였다.
2. 소량 데이터로 학습 가능: 6개 객체에 대해 객체당 6분 미만의 비디오만으로 학습하여도 정확한 dynamics 예측이 가능함을 입증했다.
3. Out-of-distribution 일반화: 단일 물체 충돌(single-body collision)만으로 학습했음에도 ground removal, multi-object interaction 등 학습 분포 밖 상황에서도 물리적으로 그럴듯한 결과를 생성했다.
4. kNN 없는 효율적 dynamics engine: hand-crafted graph 구성이나 kNN 기반 이웃 계산 없이 space-filling curve와 sparse convolution만으로 particle dynamics를 처리하여 계산 효율성을 개선했다.
5. Open-source 공개: 코드와 데이터셋을 공개하여 향후 visuo-physical simulation 연구의 재현 가능한 baseline을 제공했다.

How

Figure 5. The dynamics model encodes the time step into each

• Inverse Renderer: MVSplat을 확장하여 pixel-aligned feature를 particle visuo-physical latent representation으로 융합하는 feature extraction module 추가, camera-dependent feature를 전역 좌표계로 통합하는 학습된 feature transformation module 도입
• Temporal Encoding & Merging Layer: abstract temporal node 대신 임의 개수의 timestep을 처리할 수 있는 hierarchical Temporal Merging module(Grid Pooling 포함) 설계
• Transformer-Only Dynamics Engine: PTv3 설계를 따라 kNN 기반 그래프 연결 대신 space-filling curve 기반 particle 정렬과 sparse convolution으로 상대 위치 인코딩, UNet 스타일 spatiotemporal Point Transformer 구성
• End-to-End Differentiable Framework: inverse rendering, transformer dynamics, Gaussian Splatting decoding을 하나의 파이프라인으로 연결하여 image reconstruction loss만으로 학습
• 평가: rigid/elastic/cloth 객체에 대한 정성적 예측 결과와 Cosmos, CosmosFT 등 video generation baseline과의 trajectory PSNR 비교를 통한 정량 평가 수행

Originality

• GNN 기반 relational inductive bias(kNN graph, hand-crafted edge feature) 없이 transformer-only dynamics engine으로 particle-based simulator를 구성한 최초 시도 중 하나로, graph bias 없이도 particle dynamics를 학습할 수 있는지에 대한 질문을 직접 검증함
• MVSplat과 Gaussian Splatting을 결합해 NeRF 기반 렌더링보다 효율적이고 explicit한 particle appearance representation을 dynamics 학습과 공동 최적화
• abstract temporal node 방식의 2-step horizon 제약을 극복하는 Temporal Merging with Grid Pooling을 도입해 임의 길이의 시계열 point cloud 처리 가능
• privileged signal(RGBD, object-level track, physics prior) 없이 순수 RGB 비디오만으로 3D visuo-physical simulator를 end-to-end differentiable하게 학습

Limitation & Further Study

• 학습에 사용된 객체 수와 시나리오(단일 물체 충돌 위주, 6개 객체, 짧은 영상 길이)가 제한적이어서 더 복잡한 다물체 상호작용이나 장기 시퀀스에 대한 일반화 성능이 충분히 검증되지 않았을 가능성이 있음
• multi-view RGB 카메라 세팅에 의존하므로 단일 뷰나 sparse view 환경에서의 성능, 실제 로봇 배포 시의 실시간성 및 novel scene에 대한 zero-shot 일반화가 추가 검증되어야 함
• 정량적 비교가 주로 video generation baseline(Cosmos 계열)과의 PSNR 비교에 국한되어 있어, 다른 물리 시뮬레이터나 downstream task(로봇 제어, planning)에서의 실질적 유용성 검증이 후속 연구로 필요함
• fluid와 같이 매우 유동적인 물질이나 매우 강한 접촉/충돌(예: 파괴, 절단)에 대한 처리 능력은 본문 발췌만으로는 명확히 확인되지 않음

Evaluation

총평: GNN 기반 graph inductive bias를 제거하고 transformer-only 구조로 RGB 비디오만으로 3D particle 기반 시뮬레이터를 학습한다는 아이디어가 신선하며, 다양한 물리 거동에 대한 정성적 결과와 OOD 일반화 결과가 인상적이다. 다만 학습 데이터 규모와 시나리오의 다양성, 정량 비교의 범위가 제한적이어서 실제 응용으로의 확장성에 대한 추가 검증이 필요하다.