Robust and Generalized Humanoid Motion Tracking

Motivation

• Known: 기존 humanoid motion tracking 연구는 단일 동작이나 소규모 동작 집합에 대해 학습되어 일반화 능력이 제한되며, 동적 동작과 접촉 전환 시 추적 정확도와 폐루프 안정성이 최적이 아니다.
• Gap: 대규모 데이터(700시간 이상)와 계산 리소스에 의존하지 않으면서도 일반화된 전신 제어기를 학습하고, 낙하 회복을 통합하여 단일 정책으로 폐루프 안정성과 견고성을 동시에 달성하는 방법의 부재.
• Why: 휴머노이드 로봇이 다양한 환경과 작업에 적응하려면 여러 동작을 아우르는 강건한 단일 정책이 필수적이며, 이를 통해 연구 접근성을 높이고 실제 배포 안전성을 향상시킬 수 있다.
• Approach: 최근 proprioception 히스토리로부터 동역학 표현을 추출하는 causal temporal encoder와 현재 동역학에 기반하여 contextual command window를 선택적으로 집계하는 multi-head cross-attention command encoder를 결합하며, 불안정한 초기화와 annealed assistance force를 통한 낙하 회복 커리큘럼을 통합한다.

Achievement

• 효율적인 학습: 약 3.5시간의 컴팩트 모션 데이터셋으로 distillation 없는 단일 단계 end-to-end 학습 달성
• 강건한 일반화: mocap, 비디오 기반 포즈 추정, 실시간 VR 텔레오퍼레이션 등 다양한 참조 소스에 대해 일반화
• 제로샷 전이: 학습하지 않은 동작에 대해 제로샷 전이 능력 입증
• 통합된 견고성: 낙하 회복을 메인 정책에 통합하여 동적 동작과 접촉이 풍부한 시나리오에서 뛰어난 견고성과 외란 거부 능력 확보
• 실제 로봇 배포: Unitree G1 휴머노이드 로봇에서 안정적인 장기간 추적 및 다운스트림 애플리케이션(조이스틱 구동 로코모션) 성공

How

• Causal temporal encoder를 이용하여 recent proprioception ([gravity direction, angular velocity, joint positions/velocities, previous action])에서 compact dynamics embedding 추출
• Multi-head cross-attention 메커니즘으로 현재 dynamics embedding을 query로 하여 command window의 contextual reference targets을 동적으로 집계
• Command observation으로 reference base velocities, reference gravity direction, reference joint positions 제공
• Asymmetric actor-critic 구조: actor는 noisy observation 입력, critic은 privileged observation (reference height, link poses, base velocity) 추가 입력
• 잔차 제어 공식화 (residual joint position offset at을 reference joint configuration qref에 더함)로 PD setpoint 설정
• 밀도 있는 보상 함수: keypoint alignment, relative pose consistency, keypoint velocity consistency 추적 + action smoothness, joint limit, non-target contact penalization
• 낙하 회복 커리큘럼: randomized unstable initialization과 annealed upward assistance force를 결합하여 로봇을 더 넓은 state distribution으로 노출
• Motion dataset quality control: LAFAN1과 AMASS의 선택된 부분을 General Motion Retargeting으로 재타겟팅하되, 낮은 품질 및 불가능한 동작 제거

Originality

• Dynamics-conditioned command aggregation 설계의 창의성: 단순히 reference를 그대로 따르기보다, 현재 동역학 상태에 기반하여 참조 신호의 신뢰도를 적응적으로 판단하고 집계
• Causal temporal encoder와 multi-head cross-attention의 조합: 기존 RL 기반 motion tracking에서 rarely seen되는 아키텍처로, 노이즈가 있는 참조에 대한 새로운 대응 방식
• 통합된 낙fall recovery: 별도 정책이 아닌 단일 정책에 낙하 회복을 직접 포함시켜 학습 효율성과 실제 안전성을 동시에 향상
• 컴팩트 데이터셋의 효율적 활용: quality-driven construction과 dynamics-conditioned aggregation의 결합으로 기존 대규모 데이터 의존성 극복

Limitation & Further Study

• 현재 방법은 약 3.5시간의 고품질 motion data 선별에 의존하며, 이 quality control 프로세스의 자동화 방안 부재
• Dynamics-conditioned command aggregation이 어떤 종류의 노이즈 패턴(periodic vs. transient vs. structural artifacts)에 특히 강건한지에 대한 세부 분석 부족
• Transfer learning 측면에서 타 humanoid 플랫폼 (예: Boston Dynamics Atlas, Tesla Optimus)으로의 일반화 가능성 미검증
• Long-horizon task (예: 복합 조작, 환경 상호작용)에서의 성능 평가 부재 — 현재는 주로 motion tracking과 locomotion에 한정
• Temporal receptive field와 attention window size 선택에 대한 민감도 분석 및 ablation study 확대 필요
• Sim-to-real transfer 중 domain randomization 및 identification 전략의 세부 사항 미기술

Evaluation

총평: 본 논문은 dynamics-conditioned command aggregation이라는 우아한 설계를 통해 컴팩트한 데이터셋으로도 강건한 일반화 휴머노이드 전신 제어를 달성하며, 낙하 회복의 통합과 실제 로봇 배포 검증으로 높은 실용성을 보여준다.