Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking

Motivation

• Known: 현재 접근 방식은 인간 모션 데이터를 휴머노이드에 retarget한 후 RL 정책으로 학습하며, PHC와 ProtoMotions 같은 기존 retargeting 방법들이 널리 사용되고 있다.
• Gap: 기존 retargeting 방법들은 foot sliding, self-penetration, 물리적으로 불가능한 모션 등의 artifacts를 남기며, 이를 보정하기 위해 과도한 reward engineering이 필요하다는 점이 체계적으로 평가되지 않았다.
• Why: Humanoid motion tracking 정책은 teleoperation과 hierarchical control의 핵심이며, retargeting 품질이 실제 정책 성능을 좌우하기 때문에 이를 정확히 이해하는 것이 중요하다.
• Approach: GMR이라는 새로운 retargeting 방법을 제안하여 non-uniform local scaling과 two-stage optimization을 통해 artifacts를 감소시키고, BeyondMimic 정책 학습기로 reward tuning 없이 공정하게 평가한다.

Achievement

• GMR 방법 개발: Non-uniform local scaling과 two-stage optimization으로 기존 방법의 scaling 관련 artifacts를 해결
• 체계적 평가 프레임워크: BeyondMimic을 사용하여 reward tuning 없이 순수한 retargeting 효과를 격리 측정
• 성능 비교: GMR이 PHC, ProtoMotions보다 tracking performance와 source motion 충실성에서 우수하며 Unitree 폐쇄 데이터셋에 근접한 성능 달성
• artifact 식별: Foot penetration, self-intersection, abrupt velocity spikes가 policy 성능에 미치는 중대한 영향 정량화
• 사용자 연구: 20명 참여자를 통한 perceptual faithfulness 평가로 retargeted 모션의 시각적 품질 검증

How

Fig. 2: General Motion Retargeting (GMR) Pipeline.

• LAFAN1 dataset의 21개 diverse sequence (5초~2분)를 사용하여 실험 수행
• Non-uniform local scaling으로 인간의 신체 비율을 휴머노이드에 맞게 조정
• Two-stage optimization: 먼저 reference tracking을 위한 로봇 모션 계산, 이후 제약 조건 만족 최적화
• Observation noise, model parameter estimation error, network latency 등을 포함한 엄격한 평가 조건 설정
• Success rate 측정을 위해 전체 reference 모션을 완료해야만 성공으로 간주하는 strict definition 적용
• 사용자 연구를 통해 retargeted 모션과 원본 인간 모션 간 perceptual 충실성 측정

Originality

• Retargeting 품질과 RL 정책 성능 간 관계를 정량적으로 체계적 평가한 최초 연구
• Reward tuning 없는 공정한 비교를 위해 독립적 정책 학습 framework (BeyondMimic) 사용
• Non-uniform local scaling을 통한 새로운 retargeting 접근법으로 기존 방법의 한계 극복
• 초장시간 모션(2분)을 포함한 광범위한 평가 dataset 구성
• 사용자 연구로 perceptual faithfulness를 정량화하여 정책이 의도한 모션을 학습하는지 검증

Limitation & Further Study

• 발과 손 이외의 contact (예: 손으로 물체 조작, 벽에 기대기)를 포함한 모션은 제외되어 일반성 제한
• 단일 휴머노이드 embodiment (암시적으로 특정 로봇)에 대해서만 평가하여 다른 로봇 형태로의 일반화 미검증
• GMR의 최적화 계산 복잡도와 실시간 적용 가능성에 대한 논의 부족
• Initial frame 문제에 대한 근본적 해결책 미제시 (empirical observation만 제공)
• 후속연구: Multi-contact 모션으로의 확장, 다양한 humanoid morphology에 대한 평가, 실제 로봇 배포 검증 필요

Evaluation

총평: 본 연구는 humanoid motion tracking에서 그동안 간과되어온 retargeting 품질의 중요성을 체계적으로 입증하고, GMR을 통해 실질적 개선을 달성했다. 광범위한 평가 프레임워크와 명확한 발견은 향후 humanoid 학습 연구에 중요한 지침을 제공한다.