ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation

Motivation

Known: Humanoid 로봇의 motion tracking 기술은 발전했으나, kinematic retargeting은 접촉이 많은 작업에서 물리적 일관성을 유지하지 못하고, 기존 컨트롤러는 reference tracking 또는 goal-conditioning 중 하나에만 특화되어 있다.
Gap: 물리적으로 일관성 있는 대규모 retargeting 방법의 부재와 diverse 조건 신호(dense reference, sparse goal, 다양한 센싱 모달리티)를 하나의 통일된 정책으로 처리하는 아키텍처의 부족이 실제 배포 환경에서 자율성을 제한한다.
Why: Humanoid 로봇이 비정형 환경에서 실제로 유용하려면 정해진 reference 없이 perception과 고수준 작업 명세로부터 행동을 생성해야 하며, 이는 현재의 reference-tracking 중심 접근법의 한계를 극복하는 데 필수적이다.
Approach: Physics-driven neural retargeting으로 MoCap 데이터를 humanoid embodiment에 물리적으로 타당하게 전환하고, 통일된 multimodal controller를 teacher-student distillation과 RL finetuning으로 학습하여 dense reference와 sparse goal을 모두 지원하도록 한다.

Fig. 1: ULTRA is an all-in-one controller for humanoid loco-manipulation that supports: Top. dense motion tracking

Physics-driven neural retargeting: Simulation-constrained optimization과 RL을 통해 kinematic retargeting보다 contact-rich 작업에서 물리적 일관성을 보장하며 대규모 dataset에서 scalable하게 동작
Unified multimodal controller: Availability masking과 tokenization을 통해 단일 정책이 dense reference tracking, sparse long-horizon goal following, blind/MoCap/depth perception 등 다양한 조건과 센싱 모달리티를 일관되게 처리
Variational skill bottleneck: 모션 스킬을 compact latent space로 압축하여 sparse goal 하에서의 모호성을 해결하고 coherent motion 유지
Real-world validation: Unitree G1 humanoid에서 test-time reference 없이 egocentric perception 기반 autonomous whole-body loco-manipulation 달성, tracking-only baseline 능가

Fig. 2: ULTRA follows four stages: (i) Neural Retargeting: an RL policy converts MoCap data into physically feasible

Stage 1 - Neural Retargeting: Retargeting policy를 RL로 학습하여 kinematic constraint, dynamic constraint, contact constraint를 동시에 만족하는 physically feasible trajectory 생성
Stage 2 - Zero-shot augmentation: 학습된 retargeting policy를 활용하여 object와 motion의 scale을 변화시켜 dataset 확장
Stage 3 - Teacher distillation: Privileged universal tracker를 학습한 후, 이를 teacher로 삼아 diverse goal specification을 지원하는 student controller 학습
Stage 4 - RL finetuning: Variational skill bottleneck과 RL을 통해 out-of-distribution scenario에서의 robustness 증진 및 interaction-state coverage 확장
Availability masking: Reference modality와 goal specification이 부분적으로만 제공될 때도 정책이 안정적으로 동작하도록 masking 적용

Retargeting 성능이 source MoCap의 품질에 의존하며, 매우 드문 또는 extreme 모션의 경우 coverage 한계 존재 가능
Egocentric depth perception 기반 객체 상태 추론의 정확도 한계와 이에 따른 control 성능 저하 가능성
RL finetuning의 computational cost와 real-world 학습의 safety 관련 문제 미처리
평가가 주로 single humanoid embodiment(Unitree G1)에 한정되어 다양한 형태의 humanoid에의 generalization 검증 부족
후속 연구로 다중 객체 manipulation, dynamic obstacles, long-horizon planning과의 통합, 그리고 cross-embodiment generalization 필요