UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos

Motivation

Known: Gripper 기반 VLA 모델들은 다양한 작업에서 성공했으나, 손재주 있는 손 제어를 위한 파운데이션 모델은 희소하고 대규모 데이터셋이 부족하다. 기존 손재주 손 연구는 특정 작업이나 하드웨어에 맞춤화되어 있다.
Gap: 손재주 손 제어는 (1) 수집 비용이 높은 실로봇 데이터, (2) 손 형태의 이질성으로 인한 전이 어려움, (3) 고차원 제어 공간의 복잡성으로 인해 gripper 기반 접근법을 직접 적용할 수 없다.
Why: 도구 사용과 같은 일상적 작업은 손재주 손이 필수적이며, 손재주 손 제어의 파운데이션 모델은 로봇 조작의 일반화와 확장성을 크게 향상시킬 수 있다.
Approach: 인간 비디오를 로봇 실행 가능한 궤적으로 변환하는 human-in-the-loop retargeting 절차를 개발하여 대규모 사전학습 데이터셋을 구축하고, Function–Actuator–Aligned Space(FAAS)를 통해 이질적 손 간 전이를 가능하게 하며, UniDex-VLA를 사전학습 후 미세조정하여 범용 정책을 구현한다.

Figure 1. We introduce UniDex, a robot foundation suite for heterogeneous dexterous hand embodiments. We first curate Un

UniDex-Dataset: 8개 손(6-24 DoF)에 걸친 50K+ 궤적, 9M 프레임으로 구성된 첫 대규모 다중 손 형태 데이터셋 제공
FAAS & UniDex-VLA: 기능 중심 통합 액션 공간과 3D VLA 정책으로 실로봇 벤치마크에서 평균 81% 작업 진행률 달성 (π0의 38% 대비 대폭 향상)
강한 일반화: 공간적, 객체, 제로샷 크로스-핸드 일반화를 모두 시연하며 미학습 손에 대한 전이 학습 성공
Human–Robot Co-training: UniDex-Cap을 통해 인간 데이터로 사전학습하고 소량의 로봇 데이터로 미세조정하여 비용 절감 실증

Figure 2. The figure illustrates the complete human–robot trans-

인간 자기중심 RGB-D 비디오에서 fingertip 기반 inverse kinematics와 대화형 조정을 결합한 human-in-the-loop retargeting으로 인간 궤적을 로봇 실행 궤적으로 변환
시각적 불일치 감소를 위해 인간 손을 마스킹하고 retarget된 로봇 손을 pointcloud에 삽입하여 시각-운동 도메인 갭 축소
Function–Actuator–Aligned Space(FAAS)를 정의하여 기능적으로 유사한 액추에이터를 공유 좌표에 매핑, 포스트프로세싱 없이 크로스-핸드 전이 가능
UniDex-Dataset에서 사전학습하고 작업 데모로 미세조정하는 3D VLA 정책 개발
RGB-D 스트림과 인간 손 포즈를 동기화하여 기록하고 같은 변환 파이프라인으로 로봇 궤적 생성하는 UniDex-Cap 포터블 캡처 시스템 설계

처음으로 8개 이질적 손 형태를 통합한 대규모 다중 손 데이터셋 구축 및 공개적 확장 프로토콜 제공
기능 중심의 Function–Actuator–Aligned Space(FAAS) 제안으로 손 형태 이질성을 효과적으로 처리하고 포스트프로세싱 없이 전이 가능
인간 비디오를 로봇 사전학습 데이터로 직접 변환하는 체계적 파이프라인으로 데이터 수집 비용 대폭 절감
Human–robot co-training의 정량적 평가를 통해 인간 데이터가 실로봇 데모를 부분 대체 가능함을 실증