Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning

Motivation

Known: 기존 텔레오퍼레이션 시스템은 ALOHA 같은 joint-space 매핑이나 간단한 gripper 기반 end-effector 제어에 국한되어 있으며, 양손 고DoF 조작의 실시간 제어와 안전성 보장에 어려움이 있다.
Gap: 비전 기반 텔레오퍼레이션 시스템에서 양손 민첩한 조작을 실시간으로 제어하면서 동시에 충돌/특이점 회피를 수행하고 몰입감 있는 햅틱 피드백을 제공하는 통합 시스템이 부재하다.
Why: 고품질의 양손 long-horizon 텔레오퍼레이션 시연은 복잡한 조작 작업에 대한 모방 학습의 일반화 능력을 크게 향상시키므로, 현실적이고 효율적인 데이터 수집 도구의 필요성이 높다.
Approach: Vision Pro의 손/손목 포즈 추적을 활용하여 손가락 움직임을 로봇 관절로 변환하는 retargeting 모듈, arm 특이점 및 충돌 회피 모듈, 저비용 ERM 액튜에이터 기반 햅틱 피드백 모듈을 독립적으로 설계하여 실시간 처리를 보장한다.

Figure 1: System Overview and Task Suits. (a) Hand poses captured by Apple Vision Pro are con-

성능 우수성: Telekinesis 벤치마크에서 기존 시스템 대비 11% 높은 성공률 달성 및 작업 완료 시간 45% 단축
모방 학습 개선: 수집된 고품질 시연으로 학습한 정책이 새로운 포즈/미숙한 객체에 대해 20% 향상된 일반화 성능 달성
long-horizon 작업 지원: 기존 시스템에서 거의 다루지 않은 다단계 장시간 양손 민첩 조작 작업 수행 가능
실시간 특수 기능: Loop joint retargeting을 1개 CPU 코어로 300Hz 처리, GPU 없이 arm collision/singularity avoidance 실시간 수행

Figure 2: Teleoperation System. The operator controls the robot hand and arm using finger and

Hand motion retargeting: 인간 손가락 키포인트와 로봇 손 forward kinematics 간 거리 최소화 및 joint 변화율 정규화를 통해 fingertip keypoint 벡터 매핑
Arm motion control: Sphere modeling을 통한 효율적 충돌 감지 및 Jacobian 기반 특이점 회피로 실시간 arm 제어
Loop joint retargeting: Four-bar linkage 같은 복잡한 로봇 손 구조에 대한 특화된 retargeting 알고리즘
Haptic feedback: 로봇 손의 FSR 센서 촉각 신호를 operator 손가락의 저비용 ERM 액튜에이터로 변환
Bimanual coordination: 로봇 양손 간 거리를 인간 양손 거리와 일치시키는 초기화 모드 설계
Modular architecture: 각 모듈을 독립 프로세스로 운영하여 지연 누적 방지

Vision Pro 기반 양손 고DoF 텔레오퍼레이션 시스템의 최초 구현으로, 기존 글러브 기반/카메라 기반 솔루션과 차별화
Loop joint retargeting의 실시간 처리: 4-bar linkage 같은 복잡한 구조를 1개 CPU 코어, 300Hz로 처리하는 novel 알고리즘
저비용 ERM 액튜에이터 ($1.2) 기반 haptic feedback 설계로 immersion 향상
실시간 충돌/특이점 회피와 양손 coordination을 통합하는 통일된 시스템 구조
Long-horizon multi-stage 양손 조작 작업의 성공적 수행 및 모방 학습 개선 검증