RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation

Motivation

• Known: 로봇 조작 정책의 일반화를 위해서는 다양한 작업, 환경, 로봇 타입을 포함하는 대규모 데이터셋이 필수적이다. 기존 로봇 데이터셋들은 개별 연구실에서 서로 다른 수집 표준으로 구축되어 있다.
• Gap: 기존 데이터셋들은 단일 로봇 타입에 중심을 두거나 비일관된 데이터 수집 표준을 사용하고 있으며, failure case에 대한 상세한 annotation과 digital twin 환경이 부족하다.
• Why: 통일된 표준으로 수집된 다양한 embodiment의 고품질 데이터는 일반화 성능이 우수한 조작 정책 학습과 교차 로봇 전이 학습을 가능하게 한다.
• Approach: Franka Emika Panda, UR5e, AgileX dual-arm robot, X-Humanoid 로봇에 대해 human teleoperation을 통해 통일된 프로토콜로 데이터를 수집하고, Isaac Sim에서 digital twin 환경을 구축하여 추가 학습 데이터 생성을 용이하게 했다.

Achievement

• 대규모 다중 embodiment 데이터셋: 479개의 다양한 작업과 96개의 객체 클래스를 포함한 107k trajectory, 305.5시간의 상호작용 데이터를 통일된 플랫폼에서 수집
• Failure case 주석: 5k개의 real-world failure demonstration에 상세한 원인 주석을 제공하여 RLHF 기반 정책 학습 지원
• Digital twin 환경: Isaac Sim에서 real-world task와 asset을 복제하여 저비용 추가 데이터 수집 및 효율적 평가 가능
• 높은 성능과 일반화: Vision-Language-Action (VLA) 모델을 통해 높은 조작 성공률과 강력한 일반화 능력 달성
• 포괄적 멀티모달 정보: RGB-D multi-view observations, proprioceptive state information, linguistic task descriptions를 포함

How

• Human teleoperation을 통해 자연스러운 인간의 동작 패턴을 포착하여 로봇으로 매핑
• Franka Emika Panda, X-Humanoid Tien Kung, AgileX Cobot Magic V2.0, UR5e의 4종류 로봇으로부터 다양한 embodiment 데이터 수집
• 질 보증을 위해 8개의 QA 기준을 데이터 수집 과정에 정의하여 적용
• 10k개 trajectory에 대해 frame-level 상세 주석 제공
• 다양한 imitation learning 방법과 state-of-the-art VLA 모델을 사용하여 데이터셋 품질 검증
• Single-task와 multi-task 시나리오 모두에서 광범위한 실험 수행

Originality

• 통일된 멀티 embodiment 수집: 기존 Open X-Embodiment과 달리 동일한 표준 프로토콜을 따르는 단일 플랫폼에서 4종류 로봇의 데이터를 수집한 첫 시도
• Failure case 상세 주석: Real-world failure trajectory에 대한 원인 주석을 포함하여 negative learning 활용 가능
• Humanoid 로봇과 dexterous hand 통합: Dual dexterous hand를 갖춘 humanoid robot 데이터를 대규모로 포함한 최초
• Digital twin 동시 구축: Real-world task 기반 digital twin 환경을 함께 제공하여 시뮬레이션-현실 간 학습 가능

Limitation & Further Study

• 환경 제약: 실험실 환경에서만 수집되어 극한 환경이나 예상 외 시나리오에 대한 일반화 제한 가능
• Linguistic task description 정확도: 자동 또는 반자동으로 생성된 설명의 품질에 따른 VLA 모델 성능 변동 가능성
• Embodiment 간 정보 전이: 상이한 kinematic structure의 로봇 간 정책 전이 성능이 제한될 수 있음
• Real-to-sim gap: Digital twin 환경의 physics simulation 정확도 편차로 인한 현실 적용 시 성능 저하 가능
• 후속 연구: (1) 더 다양한 환경과 시나리오에서의 데이터 수집 확대, (2) Cross-embodiment policy transfer 메커니즘 개발, (3) Failure case로부터의 자동 학습 알고리즘 개발 필요

Evaluation

총평: RoboMIND는 통일된 수집 표준으로 구축된 최대 규모의 멀티 embodiment 로봇 데이터셋으로서, failure case 주석과 digital twin 환경을 포함하여 일반화 가능한 로봇 조작 정책 학습을 위한 중요한 자원을 제공한다. 데이터셋의 규모, 다양성, 고품질성에서 기존 연구들을 크게 능가하며 후속 로봇 학습 연구에 상당한 영향을 미칠 것으로 예상된다.