Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

Motivation

• Known: 로봇 학습을 위해서는 대규모 다양한 훈련 데이터와 신뢰할 수 있는 평가 벤치마크가 필수적이다. 실제 로봇 데이터 수집은 높은 비용과 확장성 문제를 야기한다.
• Gap: 기존 시뮬레이션 벤치마크는 조각화, 제한된 범위, 불충분한 충실도로 인해 sim-to-real 전이가 어렵다. 또한 고충실도 환경 생성은 전문가의 수동 작업을 요구하고, 평가는 고정된 메트릭에 의존하며 인간 평가는 확장성이 떨어진다.
• Why: 확장 가능한 로봇 학습 모델 개발을 위해서는 자동화된 고충실도 장면 생성, 대규모 합성 데이터, 그리고 자동화된 다차원 평가 체계가 필수적이다.
• Approach: LLM을 활용하여 자연어 명령으로 고충실도 장면을 생성하고, 다차원 도메인 랜더마이제이션을 통해 장면을 일반화하며, VLM 기반 자동 평가 파이프라인을 구축한다.

Achievement

• Genie Sim Generator: 자연어 인터페이스로 고충실도 시뮬레이션 장면을 실시간 생성하고 다중 라운드 대화를 통해 반복 개선을 지원한다.
• 다차원 장면 일반화: 조명, 배경, 레이아웃, 포즈, 궤적, 센서 노이즈, 로봇 형태 등을 매개변수화하여 단일 장면에서 수천 개의 다양한 시나리오를 분 단위로 생성한다.
• LLM 기반 자동 평가 벤치마크: 100,000개 이상의 평가 시나리오를 생성하고 VLM으로 자동 채점하여 의미론적 이해, 공간 추론, 작업 실행의 다차원 역량 프로필을 구성한다.
• Sim-to-Real 전이 검증: 합성 데이터가 제어된 조건 하에서 실제 로봇 데이터의 효과적인 대체재가 될 수 있음을 실증한다.
• 대규모 오픈소스 공개: 5,140개 자산, 10,000+ 시간 데이터셋, 100,000+ 평가 시나리오, 완전한 코드베이스를 공개한다.

How

• LLM을 활용한 자연언어 기반 장면 생성 파이프라인 구축
• 3D 재구성과 시각 생성 합성(visual generative synthesis)을 통한 고충실도 시뮬레이션
• 원격조종(teleoperation)과 자동화 기반 이중 모드 데이터 수집
• LLM으로 작업 지시 및 평가 프로토콜을 자동 생성
• VLM으로 생성된 시나리오에 대한 작업 실행 및 자동 채점
• 353개 범주에서 5,140개 시뮬레이션 준비 객체를 지원하는 의미 기반 자산 검색 시스템
• 조명, 배경, 레이아웃, 포즈, 궤적, 센서 노이즈, 로봇 형태에 걸친 포괄적 도메인 랜더마이제이션

Originality

• 로봇 장면 생성에 LLM을 활용한 최초의 자연어 인터페이스 접근법
• VLM 기반 자동 평가 파이프라인을 도입하여 인간 평가의 주관성과 확장성 문제 해결
• 단일 생성 장면에서 수천 개의 매개변수화된 시나리오를 동적으로 생성하는 다차원 일반화 방법론
• LLM으로 평가 시나리오와 작업 지시를 대규모로 생성하는 자동화된 벤치마크 구성 방식
• 대규모 합성 데이터의 sim-to-real 전이 가능성을 체계적으로 검증한 실증적 결과

Limitation & Further Study

• 실제 sim-to-real 전이의 성공률과 범위에 대한 구체적인 정량화 부재
• VLM 기반 평가의 신뢰성과 인간 평가와의 상관성에 대한 상세한 검증 부족
• 특정 도메인(예: 복잡한 물리 상호작용, 변형 가능한 물체)에서의 성능 한계 미언급
• LLM 생성 장면의 현실성 정도와 생성 오류율에 대한 정량적 분석 미제시
• 후속 연구로는 실제 로봇 플랫폼에서의 광범위한 배포 테스트, 다양한 로봇 형태에 대한 일반화 검증, VLM 평가의 신뢰성 개선이 필요

Evaluation

총평: Genie Sim 3.0은 LLM/VLM과 로봇 시뮬레이션을 통합한 혁신적 플랫폼으로, 자동화된 장면 생성, 대규모 합성 데이터, 다차원 평가 벤치마크를 통해 로봇 학습 개발 사이클을 크게 가속화할 수 있는 높은 기여도의 연구이다.