RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

Motivation

• Known: 기존 시뮬레이션 기반 데이터 생성은 수동 검증 부재, 단순화된 환경, 체구화된 로봇 간 일반화 부족이라는 세 가지 한계를 가지고 있다.
• Gap: 자동 품질 관리 메커니즘, 현실적 domain randomization(clutter, lighting, language 변이), 로봇 체구 특화 affordance 학습이 부재하다.
• Why: 이원팔 조작은 복잡한 협력 작업 수행에 필수적이며, 대규모 다양한 데이터 없이는 정책 모델이 환경 변화에 취약하다.
• Approach: MLLM 코드 생성 에이전트와 VLM 옵저버로 이루어진 폐루프 피드백 시스템을 구성하고, RoboTwin-OD(731개 객체, 147개 카테고리) 자산 라이브러리 위에서 5축 domain randomization을 적용한다.

Achievement

Figure 1: Overview of RoboTwin 2.0. RoboTwin 2.0 is a scalable framework for bimanual manipu-

• 자동 전문가 데이터 생성: MLLM과 simulation-in-the-loop 피드백으로 코드 생성 성공률 10.9% 향상 달성
• 대규모 객체 라이브러리: 731개 객체 인스턴스와 manipulation-relevant 주석 포함한 RoboTwin-OD 구축
• Sim-to-real 전이 성능: synthetic 데이터 + 10개 실제 데모로 VLA 모델이 367% 상대 개선, zero-shot 모델 228% 개선 달성
• 포괄적 Domain Randomization: clutter, lighting, background, tabletop height, language instruction 5축에서 체계적 변이 적용
• 다중 체구 지원: 50개 이원팔 작업에 5개 로봇 플랫폼 지원 및 100k+ 궤적 데이터셋 공개

How

Figure 2: RoboTwin 2.0 Pipeline. Built on RoboTwin-OD and a skill API, the framework uses

• MLLM 기반 코드 생성 에이전트가 자연어 명령으로부터 작업 프로그램 합성
• VLM 옵저버가 시뮬레이션 실행 모니터링 및 실패 감지, 수정 제안으로 폐루프 피드백 제공
• Skill API 라이브러리와 RoboTwin-OD 활용하여 다양한 객체 카테고리와 조작 시나리오 지원
• Clutter, lighting, background texture, tabletop height, language instruction에 걸친 5축 domain randomization 적용
• 로봇별 kinematic 능력(예: Piper의 저DoF 측면 파지, Franka의 고DoF 정밀 파지) 반영하여 affordance 생성
• VLA 정책 모델을 합성 데이터와 소수 실제 데모(10개)의 조합으로 훈련

Originality

• MLLM과 VLM 옵저버를 결합한 폐루프 자동 피드백 시스템으로 기존 단방향 코드 생성 개선
• Language instruction을 명시적 domain randomization 축으로 포함하여 기존 visual-only 임의화 확장
• 로봇 체구별 affordance 주석과 action candidate 생성 메커니즘으로 cross-embodiment 일반화 해결
• 731개 객체 147개 카테고리의 대규모 RoboTwin-OD 자산 라이브러리 구축
• 50개 이원팔 작업과 5개 플랫폼에 걸친 포괄적 벤치마크 정의

Limitation & Further Study

• Domain randomization의 5축이 충분한가: 손 안정성, 물리 시뮬레이션 정확도, 부분 가시성(occlusion) 등 추가 요소 필요 가능
• Zero-shot 성능(228% 개선)은 여전히 절대값으로 낮을 수 있으며, 더 복잡한 실제 환경에서의 검증 필요
• 5개 로봇 플랫폼이 대표성을 가지는가: 유연한 손(dexterous hand) 등 다른 embodiment으로의 확장 미흡
• MLLM 코드 생성의 일반화: 현재 설정 외 새로운 작업 카테고리에 대한 생성 성공률 미검증
• 후속 연구: (1) 부분 관찰, 동적 환경, 접촉 기반 피드백 등 현실성 강화, (2) meta-learning으로 신규 작업 빠른 적응, (3) 대규모 실제 데이터와의 혼합 훈련 전략

Evaluation

총평: RoboTwin 2.0는 MLLM 기반 자동 코드 생성, 폐루프 피드백, 다축 domain randomization, 체구 특화 적응을 결합하여 이원팔 조작 연구의 중요한 기반을 제공하며, 367% sim-to-real 개선과 공개 자산/코드로 높은 실용성을 보여준다.