RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

Motivation

• Known: 로봇 학습을 위해서는 대규모 dataset이 필요하며, 현실 세계 데이터 수집은 비용과 노력이 많이 든다. 최근 simulation 기반의 로봇 학습과 imitation learning이 주목받고 있다.
• Gap: 기존 simulation framework들은 realistic physics, diverse scenes/assets, room-scale 환경, 대규모 dataset을 모두 만족하는 경우가 드물다. 또한 생성형 AI를 활용한 대규모 asset과 task 생성을 통합한 프레임워크가 부재했다.
• Why: 로봇 학습의 scaling을 위해서는 현실적이고 다양한 환경에서의 대규모 합성 데이터가 필수적이며, 이는 real-world 로봇 배포의 성능 향상으로 이어진다.
• Approach: RoboCasa는 MuJoCo 기반의 modular framework에 generative AI 도구(text-to-3D, text-to-image)를 활용하여 2,500+ 3D object, 120 kitchen scene, 100 task를 구축하고, human demonstration과 MimicGen을 통한 automated trajectory generation으로 dataset을 확대한다.

Achievement

Fig. 1: Overview of RoboCasa. RoboCasa is a simulation framework for training generalist robot agents. Four pillars unde

• Framework 구성: realistic kitchen scene, diverse interactable furniture/appliances, cross-embodiment support (mobile manipulator, humanoid, quadruped)를 갖춘 simulation framework 개발
• AI 활용 asset/task 생성: text-to-3D, text-to-image, LLM 활용으로 2,500+ object (150+ category), 100 task (atomic 25 + composite 75) 구축
• 대규모 dataset: human demonstration과 MimicGen 기반 automated generation으로 100K+ trajectory 확보
• Scaling 검증: synthetic data 증가에 따른 성능 향상을 실증하였고, real-world kitchen에서 simulation co-training의 effectiveness 증명

How

Fig. 3: Kitchen Floor Plans. We consult home planning and architecture magazines and compile a list of common kitchen fl

• Kitchen 설계: architecture/home design magazine 참고하여 다양한 kitchen layout과 style 모델링
• Object asset: 2,500+ 3D object를 text-to-3D 모델로 생성하여 150+ category 확보
• Environment texture: text-to-image 모델로 rendering realism 향상
• Task design: 25개 atomic task (picking, placing, opening door, twisting knob)와 LLM 제안 기반 75개 composite task (washing dishes, frying, restocking) 구성
• Dataset augmentation: MimicGen 확장으로 atomic task에 100K trajectory 자동 생성
• Learning: behavioral cloning으로 human demonstration + generated data를 활용한 policy 학습
• Real-world validation: real kitchen 환경에서 sim-trained policy의 transfer 성능 평가

Originality

• 기존 framework 대비 처음으로 realistic object physics + room-scale scene + AI-generated asset/task + large-scale dataset을 통합
• LLM을 활용한 naturalistic task design - human-centered Internet content로부터 ecological statistics 추출
• Generative AI (text-to-3D, text-to-image, LLM)를 systematic하게 활용하여 simulator 확장 가능성 입증
• MimicGen을 적응시켜 kitchen manipulation task에 대한 automated trajectory generation pipeline 개발

Limitation & Further Study

• 현재는 kitchen 환경에만 집중하여 home의 다른 공간(bedroom, bathroom, living room)으로의 확장 필요
• Real-world transfer는 제한된 kitchen 환경에서만 검증되었으며, 더 다양한 실제 환경에서의 평가 필요
• LLM 기반 task 생성이 실제 인간의 행동 다양성을 충분히 포괄하지 못할 가능성
• Text-to-3D로 생성된 asset의 물리 특성(mass, friction, shape accuracy) 검증 부재
• Cross-embodiment 지원이 있으나, 실제 여러 embodiment에서의 sim-to-real transfer 성능 비교 부족

Evaluation

총평: RoboCasa는 generative AI를 활용하여 robot learning을 위한 대규모 realistic simulation을 구축한 의미 있는 contribution이며, 실제 real-world transfer 성공을 보여줌으로써 sim-to-real robot learning의 실질적 경로를 제시한다. 다만 현재 kitchen 환경 집중과 제한된 real-world 검증은 향후 개선이 필요하다.