ZEST: Zero-shot Embodied Skill Transfer for Athletic Robot Control

Motivation

Known: 기존 접근법은 오프라인 궤적 최적화와 온라인 추적 제어를 사용하거나, Tabula rasa RL은 보상 설계에 민감하다. DeepMimic 같은 motion imitation은 모션 데이터를 프라이어로 활용하여 이러한 문제를 완화한다.
Gap: 기존 방법들은 특정 데이터 소스(MoCap 또는 비디오)에 제한적이고, 다양한 로봇 형태로의 전이가 어려우며, 실제 배포 시 상태 추정기, 접촉 라벨, 광범위한 보상 설계를 필요로 한다.
Why: 인간형 로봇이 환경과 상호작용하려면 다양한 동작을 수행해야 하는데, 현재 접근법들은 확장 가능하지 않고 공학적 노력이 많이 필요하다. 통일된 프레임워크로 여러 데이터 소스를 활용하면 로봇 제어의 일반성과 견고성을 크게 향상시킬 수 있다.
Approach: ZEST는 적응형 샘플링과 model-based assistive wrench를 이용한 자동 커리큘럼을 결합하여 동적 장기 조작을 가능하게 하고, 중간 정도의 domain randomization만으로 다양한 데이터 소스와 로봇 형태에 대한 zero-shot 배포를 달성한다.

Fig. 1. Hardware deployment of ZEST across diverse data sources and robot morphologies. In order of appearance from top

다중 데이터 소스 통합: High-fidelity MoCap, noisy 모노큘러 비디오, non-physics-constrained 애니메이션 등 서로 다른 출처의 데이터를 단일 프레임워크로 처리
다양한 동적 기술 학습: Atlas에서 army crawl과 breakdancing 같은 다중-접촉 스킬, 비디오로부터 춤과 박스-클라이밍 같은 장면 상호작용 스킬 습득
형태학적 일반화: 인간형 로봇(Atlas, Unitree G1)에서 사족 로봇(Spot)으로 확장하여 연속 백플립 같은 곡예 가능
Zero-shot 배포: 접촉 라벨, reference/observation 윈도우, 상태 추정기, 광범위한 보상 설계 없이 시뮬레이션에서만 훈련하여 하드웨어에 직접 배포
폐쇄 연쇄 구동기 게인 선택: 근사 분석적 갑옷값으로부터 관절 수준 게인을 선택하는 절차와 정교한 구동기 모델 제시

Fig. 3. Overview of ZEST, which consists of three main stages. (1) Reference data: A diverse set of motions from MoCap,

시뮬레이터 정확도 의존성: Sim-to-real 격차 완전 해소는 아직 도전 과제이며, 특정 극한 환경이나 매우 높은 정확도 요구 작업은 추가 fine-tuning 필요할 수 있음
계산 비용: 다양한 데이터 소스로부터의 훈련은 상당한 시뮬레이션 시간과 계산 자원을 필요로 함
제한된 동역학 모델: Non-physics-constrained 애니메이션 데이터 활용은 물리적으로 불가능한 모션을 포함할 수 있어 도메인 랜더마이제이션에 의존
상태 추정 문제: Partial observability 환경에서 policy history-conditioning 또는 상태 추정이 필요할 수 있음
후속 연구: (1) 실제 배포 중 온라인 적응 메커니즘 개발, (2) 새로운 과제나 환경에 대한 빠른 파인튜닝 방법, (3) 더 복잡한 인간-로봇 협력 작업으로의 확장