One-shot Adaptation of Humanoid Whole-body Motion with Walking Priors

Motivation

• Known: 최근 심화 강화학습 기반 휴머노이드 운동 방법들은 Transformer 정책, world model, 계층적 제어 등으로 다양한 전신 운동을 수행할 수 있으나, 모두 대규모 모션 데이터셋(예: CMU MoCap, AMASS)의 다중 샘플을 필요로 한다.
• Gap: 휴머노이드 전신 운동에서 단일 대상 샘플로부터의 원샷 학습은 동적 균형과 다중 관절 조정이 필요해 거의 미탐색 상태이며, 대규모 모션 데이터 수집의 높은 비용과 노동력 문제가 존재한다.
• Why: 보행 외 복잡한 모션(댄스, 점프, 펀치 등) 비디오는 인터넷에서 수집하기 어려워 데이터 효율적 적응 기법이 필수이며, 이를 통해 모션 캡처 데이터셋 구축의 부담을 대폭 감소시킬 수 있다.
• Approach: 사전학습된 보행 기반 모델과 단일 대상 모션 클립으로부터 order-preserving optimal transport를 이용해 중간 포즈 골격을 생성하고, manifold 최적화로 충돌 회피를 보장한 후 강화학습으로 미세조정한다.

Achievement

Figure 1. Sampled frames from motion sequences of a humanoid (Unitree H1) performing four distinct actions in sim-to-sim

• 데이터 효율성: 단일 비보행 샷만으로 새로운 휴머노이드 운동에 적응 가능하며, 대량 모션 데이터 수집의 필요성을 제거
• 경량 생성 방식: 신경망 훈련 없이 order-preserving optimal transport와 manifold 최적화만으로 합성 학습 샘플 생성
• 우수한 성능: CMU MoCap 데이터셋에서 기준선 대비 일관되게 개선된 성능 달성
• 견고성: Isaac Gym에서 MuJoCo로의 시뮬레이터 간 전이(sim-to-sim transfer) 성공

How

Figure 2. Given a sequence of walking motion pose skeletons and a target sequence comprising non-walking motions, we emp

• Base Model: 약 130개의 보행 모션 클립으로 보행 기반 정책 사전학습 (PPO)
• OPOT 거리 계산: Order-preserving optimal transport로 보행과 대상 시퀀스 간 Wasserstein 거리 계산하여 시간적 일관성 보존
• Geodesic 보간: 계산된 거리를 따라 중간 포즈 골격 생성으로 pose skeleton manifold 상에서 부드러운 전이
• Manifold 최적화: 생성된 모션의 신체 부위 간 충돌 제거 및 운동학적 타당성 확보
• Retargeting: 최적화된 골격을 휴머노이드(Unitree H1, 19 DoF)의 관절 구조로 변환
• 정책 미세조정: Base Model을 생성된 합성 데이터로 강화학습(PPO)으로 재훈련

Originality

• 휴머노이드 전신 운동에 원샷 학습 개념을 최초로 적용하며, 기존 조작 과제와 달리 동적 균형과 보행 사전 지식을 고려한 차별화된 접근
• Order-preserving optimal transport를 모션 생성에 활용하여 시간적 순서를 보존하면서 pose skeleton manifold상의 geodesic 보간 구현
• 신경망 훈련 없는 경량 생성 방식으로 기존 diffusion model 기반 방법과 차별화
• 보행 사전 모델을 활용한 점진적 적응 전략으로 단일 샷 학습의 불안정성 극복

Limitation & Further Study

• Base Model 훈련에 약 130개의 보행 클립이 필요하므로 완전한 영샷 학습이 아니며, 보행이 아닌 다른 보조 모션으로 확장할 시 데이터 수집 필요성 존재
• 대상 모션과 보행 사이의 거리가 너무 클 경우 geodesic 보간의 효과 저감 가능성
• 현재 CMU MoCap 데이터셋에서만 평가되었으며, 실제 로봇 하드웨어 실험의 부재로 sim-to-real transfer 성능 미확인
• 충돌 회피와 운동학적 타당성을 위한 manifold 최적화 계산 비용이 명시되지 않음
• 후속 연구: 다양한 보조 모션 집합의 활용, real-world transfer learning, 더 복잡한 다중-상체 상호작용 모션 확장, 온라인 적응 메커니즘 개발

Evaluation

총평: 휴머노이드 전신 운동에 원샷 학습을 효과적으로 적용하고, order-preserving optimal transport와 manifold 최적화를 통해 경량의 데이터 효율적 솔루션을 제시하는 높은 가치의 연구이다. 다만 실제 로봇 검증과 더 다양한 보조 모션 확장이 후속 과제이다.