Towards Adaptable Humanoid Control via Adaptive Motion Tracking

Motivation

• Known: 기존 motion prior 기반 RL 방법은 적응성은 우수하지만 모방 정확도가 낮고, motion tracking 방법은 정확한 모방이 가능하지만 다양한 조건을 커버하기 위해 대규모 학습 데이터와 테스트 시 참조 동작이 필요하다.
• Gap: 단일 참조 동작으로부터 데이터 의존성을 줄이면서도 정확한 모방 성능과 광범위한 적응성을 동시에 제공할 수 있는 방법이 부재하다.
• Why: 실제 환경의 다양한 조건에서 동작해야 하는 휴머노이드 로봇이 적응력 있는 동작을 최소한의 데이터로 학습할 수 있으면 실용성이 크게 향상되기 때문이다.
• Approach: 단일 참조 동작을 키프레임으로 희소화하고 최소한의 물리 가정으로 편집하여 증강 데이터셋을 생성한 후, 고정 phase interval로 정책을 초기화하고, 이후 phase adapter와 tracking adapter를 학습하여 유연한 time warping을 통해 적응성을 확보한다.

Achievement

Fig. 1: Overview. Our method, AdaMimic (adaptive motion tracking), achieves agile humanoid whole-body adaptation from on

• 단일 동작으로부터의 학습: 대규모 데이터셋 없이 하나의 참조 동작만으로 다양한 조건에 적응할 수 있는 휴머노이드 제어 정책 개발
• 정확한 모방과 적응성의 결합: 기존 방법들의 trade-off를 극복하여 높은 모방 정확도와 넓은 적응 범위를 동시 달성
• 실제 로봇 검증: Unitree G1 휴머노이드 로봇에서 점프, 배드민턴, 테니스 등 다양한 과제에서 광범위한 적응 조건 하에서 우수한 성능 입증
• 단계적 학습 프레임워크: 고정 phase interval 추적 후 동적 어댑터 학습의 two-stage 설계로 효율적이고 안정적인 학습 가능

How

Fig. 2: Method overview. (a) Human motions are reconstructed into SMPL motions via GVHMR [21] and retargeted to the huma

• 인간 동작을 GVHMR을 통해 SMPL 모션으로 재구성하고 로봇에 맞게 retarget
• 단일 참조 동작에서 중요 keyframe을 선택하고 global trajectory 변화를 적용하여 편집 데이터셋 D_ref^edit 생성
• Observation o_k = (q̂_ϕk, q_ϕk, θ̇_k, ω̇_k, ϕ_k)를 입력받아 tracking policy π_track 학습
• Sparse global reward와 dense local reward를 이용한 이중 critic (V_track^sparse, V_track^dense) 활용
• Stage 1: 고정된 Δϕ_k로 phase interval에 따른 기본 추적 정책 학습
• Stage 2: Phase adapter π_phase^Δ로 motion speed 조절과 tracking adapter π_track^Δ로 저수준 동작 보정, 이를 통해 flexible time warping 구현
• 학습된 정책을 Unitree G1 로봇에 직접 배포하여 IMU, 관절, Lidar odometry 정보 활용

Originality

• 키프레임 기반 데이터 증강: 단일 동작으로부터 local pattern은 보존하면서 global trajectory만 변형하여 효율적으로 증강 데이터 생성
• 이중 보상 구조: Global-level과 local-level 보상을 분리하여 sparse keyframe 추적과 dense 중간 동작의 패턴 보존을 동시에 달성
• 적응형 Phase 및 Tracking 어댑터: Motion speed와 저수준 동작을 독립적으로 조절하는 two-stage 어댑터 설계로 flexible time warping 제공
• 최소 물리 가정으로의 편집: 복잡한 space-time constraints 없이도 물리적 타당성 유지

Limitation & Further Study

• 제한된 참조 동작: 복잡한 다중 페이즈 동작이나 높은 역동성이 필요한 움직임은 단일 참조 동작으로 충분하지 않을 수 있음
• 환경 조건 의존성: 실제 로봇 배포에서 불규칙한 지형, 외부 방해 등에 대한 강건성 검증 부족
• 확장성 미분석: 다양한 로봇 플랫폼이나 형태 (bipedal이 아닌 quadruped 등)에의 일반화 가능성 미명시
• 후속 연구: (1) 복합 동작의 다중 segment 처리, (2) 시뮬레이션-현실 간격(sim-to-real gap) 더욱 체계적 분석, (3) 다양한 로봇 형태에 대한 범용 적응 메커니즘 개발

Evaluation

총평: AdaMimic은 단일 참조 동작으로부터 고정밀 모방과 광범위 적응성을 동시에 달성하는 혁신적 접근으로, 두 단계 학습과 이중 어댑터 구조의 새로운 설계가 의미 있으며, 실제 로봇에서의 광범위한 검증이 제시되어 실용성이 높다.