Human-as-Humanoid: Enabling Zero-Shot Humanoid Learning from Ego-Exo Human Videos with Human-Aligned Embodiments

Motivation

• Known: VLA 모델은 embodiment별로 고품질 observation-action supervision을 필요로 하며, teleoperation은 controller-aligned label을 제공하지만 high-DoF humanoid에서는 확장이 느리고 비용이 크다. 반면 human egocentric video는 풍부한 bimanual manipulation 행동을 담고 있지만 실행 가능한 robot action label을 직접 제공하지 않는다.
• Gap: human demonstration을 robot-executable supervision으로 변환하려면 embodiment alignment, observation-motion compatibility, action-interface alignment, joint-task consistency라는 네 가지 상호 결합된 요구사항을 동시에 만족해야 하는데, 기존 연구들은 perception label, hand trajectory, pretraining signal 수준에 머물러 controller-aligned 고자유도 joint supervision을 직접 산출하지 못한다.
• Why: humanoid teleoperation의 데이터 수집 병목을 해소하면서도 실행 가능한 action supervision 품질을 유지할 수 있다면, 대규모 human video를 활용해 high-DoF humanoid VLA 학습의 데이터 확장성 문제를 근본적으로 완화할 수 있다.
• Approach: synchronized ego-exo video에서 human motion을 복원하고 staged Inverse Kinematics(IK)로 controller-aligned 60-DoF action chunk로 retargeting한 뒤, Forward Kinematics(FK)-aware supervision으로 wrist·fingertip task-space geometry를 보존하며 VLA를 학습시킨다.

Achievement

Figure 1 Overview of Human-as-Humanoid and its effect on humanoid action-data generation. Conventional robot data

Human-as-Humanoid는 motion-recovery, robot-action-space, real-robot deployment 세 단계에서 변환 체인을 검증했으며, humanoid teleoperation 대비 4.8-7.2배의 raw demonstration-throughput 향상을 달성하고 target-task robot demonstration 없이 converted human label만으로 post-training된 policy가 실제 로봇 작업에 zero-shot 배포 가능함을 보였다.

How

Figure 4 Ego-exo data-collection setup. The egocentric cameras provide policy-aligned observations, while synchronized

• PrimeU: 60-DoF upper-body humanoid로, dexterous hands·actuated neck/waist·head/wrist-view sensing을 통해 human과의 embodiment/sensing gap을 축소
• synchronized ego-exo video로 deployment-aligned egocentric observation과 exocentric motion recovery를 pairing
• staged IK를 통해 복원된 human motion을 controller-aligned 60-DoF action chunk로 retargeting
• FK-aware supervision을 적용해 VLA 학습 시 wrist/fingertip task-space geometry 보존
• 약 20FPS(15Hz capture) 파이프라인으로 근실시간 human-centric action 생성
• 검증: ego-exo camera-only recovery의 keypoint 안정성 비교, human-derived action으로 학습한 action tokenizer의 unseen robot trajectory 재구성(평균 normalized MAE 0.008, 95th percentile 0.0097), ring placement·bag packing·cap twisting·water pouring 등 실로봇 작업에서 zero-shot 배포

Originality

• teleoperation 의존 없이 camera-only ego-exo video만으로 controller-aligned high-DoF humanoid action label을 생성하는 human-to-humanoid supervision 파이프라인 제시
• robot embodiment, sensing setup, action-label interface를 공동 정렬(joint alignment)하는 설계 관점 도입
• FK-aware supervision을 통해 joint-space action 학습과 task-space(wrist/fingertip) geometry 보존을 동시에 달성
• motion-capture wearable 없이 순수 vision 기반으로 human motion을 복원하고 이를 humanoid controller 명령으로 변환하는 staged IK retargeting 체계 구축

Limitation & Further Study

• 4.8-7.2x throughput gain과 실로봇 배포 결과가 제한된 downstream task 및 특정 embodiment(PrimeU)에 국한되어, 다른 humanoid 플랫폼이나 더 다양한 task로의 일반화는 추가 검증 필요
• staged IK와 FK-aware supervision이 human-humanoid 간 body scale/hand morphology 차이가 큰 경우에도 강건한지에 대한 정량적 실패 사례 분석이 부족
• egocentric camera 품질, occlusion, 조명 변화 등 실제 환경의 다양한 조건에서의 motion recovery 견고성에 대한 폭넓은 스트레스 테스트 필요
• 후속 연구로 다양한 humanoid embodiment 및 대규모 task diversity에 대한 확장 검증, long-horizon task로의 확장이 요구됨

Evaluation

총평: human video를 humanoid teleoperation의 대체·보완 데이터원으로 전환하는 실용적이고 체계적인 파이프라인을 제시하며, 실측 throughput 향상과 zero-shot 실로봇 배포로 실효성을 입증한 의미 있는 연구이다. 다만 검증 범위가 특정 embodiment와 제한된 task set에 집중되어 있어 더 폭넓은 일반화 검증이 뒤따라야 한다.