ZEST: Zero-shot Embodied Skill Transfer for Athletic Robot Control

Motivation

• Known: 기존 접근법은 오프라인 궤적 최적화와 온라인 추적 제어를 사용하거나, Tabula rasa RL은 보상 설계에 민감하다. DeepMimic 같은 motion imitation은 모션 데이터를 프라이어로 활용하여 이러한 문제를 완화한다.
• Gap: 기존 방법들은 특정 데이터 소스(MoCap 또는 비디오)에 제한적이고, 다양한 로봇 형태로의 전이가 어려우며, 실제 배포 시 상태 추정기, 접촉 라벨, 광범위한 보상 설계를 필요로 한다.
• Why: 인간형 로봇이 환경과 상호작용하려면 다양한 동작을 수행해야 하는데, 현재 접근법들은 확장 가능하지 않고 공학적 노력이 많이 필요하다. 통일된 프레임워크로 여러 데이터 소스를 활용하면 로봇 제어의 일반성과 견고성을 크게 향상시킬 수 있다.
• Approach: ZEST는 적응형 샘플링과 model-based assistive wrench를 이용한 자동 커리큘럼을 결합하여 동적 장기 조작을 가능하게 하고, 중간 정도의 domain randomization만으로 다양한 데이터 소스와 로봇 형태에 대한 zero-shot 배포를 달성한다.

Achievement

Fig. 1. Hardware deployment of ZEST across diverse data sources and robot morphologies. In order of appearance from top

• 다중 데이터 소스 통합: High-fidelity MoCap, noisy 모노큘러 비디오, non-physics-constrained 애니메이션 등 서로 다른 출처의 데이터를 단일 프레임워크로 처리
• 다양한 동적 기술 학습: Atlas에서 army crawl과 breakdancing 같은 다중-접촉 스킬, 비디오로부터 춤과 박스-클라이밍 같은 장면 상호작용 스킬 습득
• 형태학적 일반화: 인간형 로봇(Atlas, Unitree G1)에서 사족 로봇(Spot)으로 확장하여 연속 백플립 같은 곡예 가능
• Zero-shot 배포: 접촉 라벨, reference/observation 윈도우, 상태 추정기, 광범위한 보상 설계 없이 시뮬레이션에서만 훈련하여 하드웨어에 직접 배포
• 폐쇄 연쇄 구동기 게인 선택: 근사 분석적 갑옷값으로부터 관절 수준 게인을 선택하는 절차와 정교한 구동기 모델 제시

How

Fig. 3. Overview of ZEST, which consists of three main stages. (1) Reference data: A diverse set of motions from MoCap,

• Adaptive sampling: 훈련 중 어려운 모션 세그먼트에 집중
• Model-based assistive wrench를 이용한 자동 커리큘럼: 동적 장기 조작 가능
• Diverse domain randomization: 시뮬레이션에서 현실적 변동성 도입
• Motion imitation RL: 다양한 출처의 모션 데이터를 정책 학습의 프라이어로 활용
• Contact-free learning: 접촉 라벨 없이 접촉 역학을 암묵적으로 학습
• Heterogeneous data processing: MoCap, 비디오, 애니메이션 데이터의 전처리 및 정규화
• Cross-morphology 전이: 다양한 로봇 형태에 대한 정책 적응

Originality

• 통합 다중 데이터 소스: MoCap, 비디오, 애니메이션을 단일 RL 프레임워크로 처리하는 것은 기존 방법들이 개별 소스에 특화된 것과 대조적
• Adaptive sampling과 assistive wrench 커리큘럼: 동적 장기 조작을 위한 새로운 훈련 파이프라인 제시
• Zero-shot cross-morphology 배포: 인간형과 사족 로봇 간 형태학적 차이를 극복한 통일 정책
• 폐쇄 연쇄 구동기 게인 선택 절차: 분석적 접근으로 제어 튜닝 자동화
• 광범위한 하드웨어 검증: 실제 Boston Dynamics Atlas와 Spot에서 복잡한 접촉 행동의 robust 배포 달성

Limitation & Further Study

• 시뮬레이터 정확도 의존성: Sim-to-real 격차 완전 해소는 아직 도전 과제이며, 특정 극한 환경이나 매우 높은 정확도 요구 작업은 추가 fine-tuning 필요할 수 있음
• 계산 비용: 다양한 데이터 소스로부터의 훈련은 상당한 시뮬레이션 시간과 계산 자원을 필요로 함
• 제한된 동역학 모델: Non-physics-constrained 애니메이션 데이터 활용은 물리적으로 불가능한 모션을 포함할 수 있어 도메인 랜더마이제이션에 의존
• 상태 추정 문제: Partial observability 환경에서 policy history-conditioning 또는 상태 추정이 필요할 수 있음
• 후속 연구: (1) 실제 배포 중 온라인 적응 메커니즘 개발, (2) 새로운 과제나 환경에 대한 빠른 파인튜닝 방법, (3) 더 복잡한 인간-로봇 협력 작업으로의 확장

Evaluation

총평: ZEST는 다양한 비정형 데이터 소스로부터 인간형 로봇의 일반적 제어 정책을 학습하고 zero-shot 배포하는 혁신적 프레임워크로, 실제 하드웨어에서의 광범위한 성공적 검증을 통해 로봇 제어의 실용성과 확장성을 크게 향상시킨 매우 중요한 기여이다.