BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion

Motivation

• Known: DeepMimic 스타일의 motion tracking RL은 자연스러운 움직임을 생성하지만 모션별 튜닝이 필요하고, VAE 기반 생성 모델은 기술적으로는 능숙하지만 명시적 목표 조건이 없는 작업(장애물 회피 등)에서 성능이 저하된다.
• Gap: 기존 방법들은 (1) 단일 모션에 대해 state-of-the-art 성능을 내거나 (2) 여러 모션 간 조합이 가능하지만 unseen task에 대한 일반화 능력이 부족하다. 두 특성을 동시에 달성하면서 실제 하드웨어에 zero-shot 전이하는 통합 프레임워크가 없다.
• Why: 휴머노이드 로봇이 인간처럼 다양한 민첩한 행동을 수행하면서도 미리 정의되지 않은 새로운 상황에 즉시 적응할 수 있어야 실제 환경에서 실용성을 갖기 때문이다.
• Approach: Classical mechanics 기반의 정교한 액추에이션 모델링으로 compact RL 보상 함수(3개 정규화항 + 통합 작업 보상)를 설계하여 diverse motion들에 단일 하이퍼파라미터로 학습하고, 학습된 skills을 state-action co-diffusion model로 캡처한 후 classifier guidance를 통해 테스트 시 새로운 목표로 온라인 최적화한다.

Achievement

Figure 2: Diverse motion tracking policies deployed on a real humanoid robot. We demonstrate

• Scalable motion tracking: 회전목마, 스핀킥, 플립킥, 스프린팅 등 radically agile behavior를 단일 setup과 공유된 하이퍼파라미터로 학습하면서 state-of-the-art human-like 성능 달성
• Versatile task composition: motion inpainting, joystick teleoperation, obstacle avoidance 등 학습 중 미경험한 다양한 downstream task를 zero-shot으로 해결
• Real-world deployment: 제시된 기술들을 실제 휴머노이드 로봇에 성공적으로 전이하여 야외 환경에서 자연스럽고 민첩한 움직임 시연
• Unified controller: 작업별 재학습이나 미세조정 없이 단일 diffusion 모델로 diverse skills을 관리하는 최초의 실세계 적용 사례

How

• Classical mechanics 원리에 기반한 로봇 액추에이션 모델링으로 시뮬레이션-현실 간극 최소화 (지연 시간 등 배포 오차 사전 제거)
• 보상 함수를 3개 물리 일관성 정규화항 + 통합 작업 보상으로 축소하여 motion-agnostic 설계 구현
• Domain randomization을 불확실성이 높은 물리 속성에만 적용하여 견고성과 학습 목표 균형 유지
• State-action co-diffusion model 구축으로 현재 상태와 액션 시퀀스의 결합 분포 학습
• Classifier guidance 기법으로 diffusion 모델의 gradient field를 활용하여 테스트 시 임의의 미분 가능한 목표 함수로 온라인 최적화
• Predictive control 방식으로 future state와 action 모두에 대한 cost 공식화 가능하게 설계

Originality

• Classical mechanics 기반 액추에이션 모델과 최소화된 보상 함수로 domain randomization의 필요성을 크게 감소시킨 혁신적 접근
• State-action co-diffusion을 predictive control과 결합하여 classifier guidance 기반 온라인 최적화로 unseen task 해결하는 novel 설계
• Motion tracking RL과 diffusion 생성 모델을 계층적 조합이 아닌 통합 프레임워크로 구축하여 기존 VAE 기반 방법의 제약 극복
• Zero-shot sim-to-real 전이로 실제 하드웨어에서 diverse agile skills과 새로운 작업 동시 달성한 첫 사례

Limitation & Further Study

• 학습 데이터로 사용된 human motion의 다양성과 품질에 따른 성능 의존성이 명시적으로 분석되지 않음
• Diffusion 모델의 샘플링 단계 수와 계산 비용이 실시간 제어에 미치는 영향 논의 부족
• Classifier guidance의 가중치 선택(trade-off parameter)에 대한 원칙적 설정 방법이 명확하지 않음
• Obstacle avoidance 등 일부 downstream task에 대해 정량적 성능 비교(baseline 대비)가 부족
• 후속 연구는 (1) 더 복잡한 환경 조작 작업, (2) 실시간 경로 계획과의 통합, (3) 다중 에이전트 협력 시나리오 확장이 필요

Evaluation

총평: BeyondMimic은 motion tracking RL의 민첩성과 diffusion 모델의 유연성을 효과적으로 결합하여, 휴머노이드 로봇 제어의 장기적 과제인 자연스러움, 민첩성, versatility를 동시에 달성하는 강력한 프레임워크를 제시한다. 실제 로봇 배포와 zero-shot task 일반화 시연은 로보틱스 커뮤니티에 상당한 기여를 한다.