Learning Whole-Body Humanoid Locomotion via Motion Generation and Motion Tracking

Motivation

• Known: RL 기반 humanoid 제어는 보상 설계의 어려움으로 인해 협응적 whole-body 행동을 학습하기 어렵고, imitation-based RL은 coordinated 기술을 학습할 수 있지만 고정된 reference motion 재생에 제한된다.
• Gap: 기존의 diffusion 기반 motion generation과 motion tracking 결합 방식은 주로 시뮬레이션에 국한되었고, 실제 humanoid 로봇의 실시간 제어와 지형 적응에 필요한 견고성과 효율성을 충분히 입증하지 못했다.
• Why: Humanoid 로봇의 whole-body coordination과 실시간 지형 적응 능력은 비구조화된 환경에서의 작업 확장에 필수적이며, 이는 quadruped 시스템보다 높은 자유도와 복잡한 형태학적 제약을 극복해야 한다.
• Approach: Human motion 데이터로부터 retarget된 motion dataset으로 diffusion model 기반의 motion generator를 학습하고, 동시에 RL을 통해 reference tracker를 훈련한 후, 폐루프 설정에서 motion generator를 고정한 상태로 tracker를 fine-tuning한다.

Achievement

Fig. 3. Results of hardware experiments. (A) The robot climbs onto a 75 cm box and jumps down in three different ways: (

• Real-world Deployment: Unitree G1 humanoid 로봇에 실제 배포되어 box climbing, hurdle vaulting, stair traversal 등 diverse terrain에서 성공적 동작 입증
• Whole-body Coordination: Terrain-aware whole-body adaptation을 지원하며 directional goal-reaching 제어 가능
• Generalization: 학습 중 미본 terrain에 대한 generalization 성능 입증 및 motion generation 기반 접근의 확장성 시연
• Robustness: Fine-tuning 단계에서 imperfectly generated reference에 대한 견고성 향상 정량화

How

Fig. 2. Overview of the training framework. (a) Data Collection & Curation: whole-body robot motions are obtained from h

• Human motion capture 데이터를 humanoid robot morphology에 맞춰 retarget
• Retargeted motion 데이터에 대해 motion augmentation 수행
• Diffusion model을 사용하여 terrain-aware reference motion을 실시간으로 생성하는 motion generator 학습
• Motion imitation 보상과 정규화 항을 포함한 RL(PPO)을 통해 whole-body reference tracker 훈련
• Motion generator를 고정하고 폐루프 설정에서 tracker를 RL fine-tuning하여 생성된 reference의 부정확성에 대한 적응
• Height scan 등 onboard perception과 robot state를 motion generator의 조건으로 입력하여 지형 기반 adaptation 실현

Originality

• Humanoid 로봇의 whole-body locomotion을 위해 diffusion-based motion generation과 RL-based motion tracking을 처음으로 실제 시스템에 통합 및 배포
• Motion generator를 고정한 상태에서 motion tracker를 폐루프 RL fine-tuning하는 novel pipeline으로 실제 배포 시 견고성 향상
• Human motion 데이터의 체계적 retargeting과 augmentation을 통해 diverse terrain 적응 가능한 motion dataset 구성
• Terrain-aware motion generation을 통해 기존 multi-expert distillation 방식의 복잡한 skill composition 엔지니어링을 회피

Limitation & Further Study

• Diffusion model 기반 motion generation의 inference latency가 real-time control에 미치는 영향 및 최적화 방안에 대한 상세 분석 부족
• Hardware 실험이 Unitree G1 단일 로봇에만 국한되어 다양한 humanoid morphology에 대한 generalization 검증 미흡
• 학습에 사용된 human motion dataset의 규모, 다양성, 특성에 대한 상세 공개 부족으로 재현성 제약
• Extreme terrain이나 동적 장애물 회피 등 더욱 복잡한 시나리오에 대한 성능 한계 미검증
• 후속 연구에서는 inference latency 최적화, 다양한 로봇 형태에 대한 일반화, 더 큰 규모의 motion dataset 활용, 동적 환경 적응성 강화 필요

Evaluation

총평: 이 논문은 diffusion-based motion generation과 RL-based tracking을 결합하여 실제 humanoid 로봇에서 처음으로 whole-body terrain-aware locomotion을 성공적으로 구현한 획기적 연구이다. 강력한 hardware 검증과 명확한 방법론을 통해 높은 수준의 완성도를 보여주며, humanoid 로봇 제어 분야에 의미 있는 기여를 제시한다.