Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

Motivation

• Known: Dynamics randomization (DR)은 sim-to-real 갭을 다루는 표준 기법이지만 정적 파라미터만 무작위화하며 robustness와 성능 간의 trade-off가 존재한다. 기존 system identification은 정확한 상태 궤적 매칭을 요구하므로 legged robot 같은 불안정한 시스템에서는 실용적이지 못하다.
• Gap: 복잡한 legged robot의 경우 precise time-aligned trajectory matching이 매우 어렵고, motion capture와 privileged sensing을 필요로 하는 기존 방식은 많은 사용자에게 실용적이지 않다. 따라서 외부 센싱 없이 sim-to-real 갭을 정량화하는 실용적 방법이 필요하다.
• Why: 정밀한 trajectory 매칭의 어려움과 장비 제약으로 인해 더 실용적인 simulator adaptation 방법이 필수적이며, 이는 legged locomotion 학습의 실제 배포를 크게 향상시킬 수 있다.
• Approach: Proprioceptive observation-action 분포를 비교하는 distributional metric (Wasserstein Distance)을 사용하여 시뮬레이터를 적응시키며, parameter identification, action-delta model, residual actuator model 등 다양한 simulator modification 함수를 최적화한다.

Achievement

• Practical Distribution Matching: 모션 캡처나 시간 정렬 없이도 state-matching baseline과 유사한 성능 달성
• Minimal Hardware Data: 5분 이하의 hardware data로 substantial drift reduction 달성
• Multiple Adaptation Functions: Parameter identification, action-delta model, residual actuator model 등 세 가지 simulator modification 방식 모두에서 유효성 입증
• Comprehensive Evaluation: Sim-to-sim 광범위한 ablation과 실제 two-legged walking 같은 challenging task에서의 sim-to-real 검증
• Closed-form Solution: GAN 기반 접근과 달리 안정적이고 계산 효율적인 closed-form metric 제안

How

• Go2 quadruped 로봇의 초기 정책 π0를 nominal simulator parameters θ0에서 RL로 학습
• 실제 로봇에서 N개의 trajectory를 수집하여 hardware dataset Dhw 구성 (proprioceptive observations와 actions만 포함)
• 동일한 정책으로 simulator에서 생성한 dataset Dsim과 Dhw를 비교
• 1D Wasserstein Distance의 평균을 사용하여 joint dimensions과 features에 걸친 distributional discrepancy 계산
• Black-box optimization으로 simulator parameters θ를 조정하여 distributional metric 최소화
• 적응된 simulator에서 정책을 fine-tuning하여 real-world 성능 개선

Originality

• Distribution-based Metric: 기존의 time-aligned state trajectory matching 대신 distributional perspective 도입으로 근본적인 접근 방식 변화
• Simplified Wasserstein Distance: Miller et al.의 MMD + Wasserstein 조합을 개선하여 1D Wasserstein Distance의 평균으로 효율적으로 근사
• Proprioceptive-only Matching: 모션 캡처나 base state 정보 없이 local joint data만으로 충분함을 입증
• Unified Framework: 여러 simulator modification 함수 (parameter ID, action-delta, residual actuator)에 적용 가능한 범용 metric 제시

Limitation & Further Study

• Hardware 요구사항: 실제 로봇 실험이 Go2 quadruped에만 제한되어 다른 legged robot 플랫폼으로의 일반화 미검증
• 정책 의존성: 제안된 metric이 특정 정책 π0 수행에 기반하므로 정책 변경 시 재조정 필요 가능
• Distribution Shift: Hardware data가 5분으로 제한되어 rare scenario나 극단적 동작에 대한 적응 제한
• Theoretical Analysis 부족: Distributional metric과 최종 policy performance 간의 수렴 보장이나 이론적 분석 미제시
• 후속 연구: 다양한 robot morphology로 확장, online adaptation과의 결합, 더 복잡한 task에 대한 검증 필요

Evaluation

총평: 본 논문은 실무적 제약을 해결하는 실용적이고 우아한 솔루션을 제시하며, proprioceptive distribution matching은 기존의 복잡한 state-matching 방식을 효과적으로 대체할 수 있는 가치 있는 기여다. 다만 평가가 단일 로봇 플랫폼과 제한된 hardware data에서만 수행되어 일반화 가능성을 더 광범위하게 검증할 필요가 있다.