ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI

Motivation

Known: 기존 로봇 학습 시뮬레이션은 Isaac Sim, Mujoco 등이 있으나, 이들은 좁은 범위의 작업만 지원하고 빠른 병렬 렌더링이 부족하다. GPU 병렬화 시뮬레이션은 로봇 강화학습을 가능하게 했다.
Gap: 기존 GPU 시뮬레이터들은 이질적 시뮬레이션(각 병렬 환경이 다른 장면을 포함)을 지원하지 않으며, 빠른 병렬 렌더링 부재로 시각 기반 RL 학습이 비효율적이다.
Why: 로봇 조작 학습은 대규모 데이터가 필요하나 실세계 수집은 비용이 크고 낮은 성공률을 보인다. 빠른 시뮬레이션은 학습 시간을 단축하고 다양한 작업에서 일반화 가능한 정책을 학습할 수 있게 한다.
Approach: ManiSkill3는 SAPIEN 병렬 렌더링 시스템과 PhysX GPU 시뮬레이션을 활용하여 최소한의 Python/PyTorch 오버헤드로 설계했으며, 이질적 시뮬레이션을 지원하기 위해 데이터 지향적 시스템 아키텍처를 도입했다.

Achievement

Fig. 4: GPU Simulation+Rendering speeds of various tasks

최고 성능 GPU 병렬 시뮬레이션+렌더링: 30,000+ FPS 달성, 기타 플랫폼 대비 2-3배 낮은 GPU 메모리 사용으로 장시간 학습이 시간 단위로 단축
가장 포괄적인 작업 환경: 테이블탑 조작, 모바일 조작, 방 규모 장면, 휴머노이드, 손가락 민첩 조작 등 12개 카테고리와 20+개 로봇 구현체 제공
이질적 시뮬레이션 지원: 각 병렬 환경에서 완전히 다른 객체, 관절, 방 규모 장면 시뮬레이션 가능
대규모 시연 데이터셋: 모션 플래닝, RL, 원격조작으로부터 수백만 프레임 제공
통합 API 및 기준선: 도메인 무작위화, 궤적 재생, 컨트롤러 변환, PPO 등 RL 및 learning-from-demonstrations 기준선 포함

How

Fig. 2: GPU Simulation+Rendering of RGB speeds of the Cartpole environment with different camera setups ManiSkill3 and

PhysX 기반 GPU 시뮬레이션 엔진으로 병렬화된 물리 계산 수행
SAPIEN 병렬 렌더링 시스템으로 동시에 여러 환경의 시각 정보 생성
데이터 지향적 메모리 관리로 가변 자유도의 객체/관절 지원하는 이질적 시뮬레이션 구현
객체 지향 API로 복잡한 텐서 인덱싱 제거하고 사용자 친화적 인터페이스 제공
RLPD, RFCL 등 online learning from demonstrations 알고리즘으로 소수 시연으로부터 대규모 데이터셋 생성
도메인 무작위화(카메라 포즈, 객체 재질) 지원으로 일반화 능력 향상

Originality

이질적 GPU 병렬 시뮬레이션: 기존 Isaac Lab, Brax 등은 동질 시뮬레이션만 지원하는 반면, ManiSkill3는 각 병렬 환경에서 완전히 다른 장면 시뮬레이션 가능한 첫 사례
통합 병렬 렌더링: Isaac Lab은 폐쇄 소스 Isaac Sim 의존, Brax/MJX는 렌더링 미지원이나 ManiSkill3는 오픈 소스 SAPIEN 기반 고속 병렬 렌더링 제공
온라인 학습 기반 데이터 파이프라인: Robocasa의 MimicGen과 달리, RLPD/RFCL을 활용한 더 유연한 시연 확장 방식으로 보상 함수 설계 어려운 복잡 작업 대응
가장 광범위한 작업 다양성: 12개 카테고리, 20+개 로봇으로 기존 프레임워크(Isaac Lab 5개, RoboCasa 2개)보다 훨씬 포괄적

Limitation & Further Study

접촉 물리 모델링 한계: 현재 구현은 복잡한 접촉 현상(점성, 미끄러짐 등)을 완벽히 표현하지 못하여 sim2real 갭 존재 가능성
스케일 한계: 30,000+ FPS는 단순 환경 기준이며, 고복잡도 장면에서는 성능 저하
온라인 학습 의존성: 어려운 작업은 여전히 온라인 학습 알고리즘(RLPD, RFCL)에 의존하여 초기 시연 품질이 중요
sim2real 검증 부족: 논문에서 대부분 시뮬레이션 내 성과 제시, 실세계 로봇 실험 결과 제시 미흡
후속 연구: 더 정교한 접촉 모델 통합, 실제 로봇에서의 대규모 검증, 자동 보상 함수 설계 방법 개발 필요

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: ManiSkill3는 이질적 GPU 병렬 시뮬레이션과 고속 병렬 렌더링을 결합한 로봇 학습 플랫폼으로, 기존 시뮬레이터의 속도와 메모리 효율성 한계를 획기적으로 개선하고 12개 작업 카테고리와 대규모 시연 데이터셋을 제공하여 로봇 일반화 조작 학습에 중요한 기여를 한다.

같이 보면 좋은 논문

BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation

다른 접근1469는 GPU 병렬화된 로봇 시뮬레이션을 제공해, 1317의 OMNIGIBSON 환경과 시뮬레이션 기술 비교 및 벤치마킹이 가능하다.

MuJoCo Playground

다른 접근MuJoCo Playground 역시 GPU 기반 병렬 로봇 시뮬레이션 프레임워크로 1469와 유사 문제에 대한 대안 솔루션을 제시한다.

MuBlE: MuJoCo and Blender simulation Environment and Benchmark for Task Planning in Robot Manipulation

다른 접근MuBlE는 GPU 기반 병렬 시뮬레이션과 현실적인 렌더링을 결합하여 1469의 ManiSkill3와 유사 접근을 시도한다.

RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

다른 접근RoboTwin 2.0도 대규모 로봇 데이터 생산과 벤치마크링에 집중한 시뮬레이션 환경으로, GPU parallelization과 데이터 다양성 측면에서 ManiSkill3와 비교된다.

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

다른 접근ManiSkill3는 GPU 병렬 처리 기반 로봇 시뮬레이션 플랫폼으로, SimpleVLA-RL의 병렬 GPU 시뮬레이션 기반 RL 확장과 유사 문제를 상이한 벤치마크 및 환경에서 다룬다.

BridgeData V2: A Dataset for Robot Learning at Scale

후속 연구BridgeData V2는 대규모 로봇 데이터셋 구축 및 로봇 학습 프레임워크로, ManiSkill3 환경에서 생성된 데이터의 실제 활용 사례를 보여준다.

RVT-2: Learning Precise Manipulation from Few Demonstrations

후속 연구ManiSkill3는 GPU 기반 대량 병렬 시뮬레이션을 통한 조작 데이터 확보를 특징으로, RVT-2의 few-shot 및 multitask 학습 성능 평가에 실질적 기반을 제공한다.

Genie: Generative Interactive Environments

응용 사례Genie 논문은 병렬 시뮬레이션 환경에서 대규모 embodied agent 학습을 구현하여 1469의 simulation 플랫폼의 실제 활용 가능성을 보여준다.

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

응용 사례PointWorld는 GPU 기반 대규모 3D 시뮬레이션 환경에서 로봇 에이전트의 실제 성능을 평가함으로써 ManiSkill3의 시뮬레이션 가속화 효과를 실증한다.