RGB: RL Guided Whole-Body MPPI for Humanoid Control

Essence

Fig. 1.

본 논문은 사전학습된 RL 정책을 sampling prior로 활용하는 RL guided whole-body MPPI 프레임워크를 제안한다. 이 하이브리드 접근법은 RL의 견고한 안정성과 MPPI의 명시적 목표 형성 능력을 결합하여, 정책을 재학습하지 않으면서도 모듈형 비용 항목으로 새로운 피드백 목표를 추가할 수 있게 한다.

Motivation

Known: Humanoid 제어는 두 가지 주요 패러다임으로 나뉜다: 안정성과 해석가능성을 제공하는 model-based 방법과, 적응성과 고차원 행동 처리 능력을 갖춘 RL 기반 접근법이 그것이다. 최근 MPPI와 MJPC 같은 sampling-based MPC 방법들이 contact-rich humanoid 제어에 유망함을 보였으나, vanilla MPPI는 high-DoF 시스템에서 initialization 민감도와 샘플링 분포 설계의 어려움이 있다.
Gap: 기존 RL 정책은 학습 목표와 명령 인터페이스에 밀접하게 결합되어 있어, swing foot clearance 변조나 pelvis height 조절 같은 새로운 목표를 추가하려면 보상 함수를 재설계하고 정책을 재학습해야 한다. 한편 vanilla MPPI는 narrow feasible manifold에서 많은 샘플이 낭비되고 contact 변화 시 성능이 저하되므로, 견고성과 정밀도를 동시에 달성하면서도 추가 목표를 유연하게 추가할 수 있는 프레임워크가 필요하다.
Why: Humanoid robot 제어는 동적 균형, 안전성, 높은 자유도 관리를 동시에 요구한다. RL은 견고한 행동을 학습하지만 일반화와 정밀도가 제한적이고, model-based MPC는 정밀하지만 high-DoF 문제에서 계산 및 초기화 문제가 있다. 이 둘을 효과적으로 결합한 방법론이 실용적 humanoid 제어에 중요하다.
Approach: pretrained RL 정책의 출력을 MPPI 내 sampling distribution의 평균으로 사용하여, MPPI가 동적으로 가능한 행동 영역 주변에서 탐색하도록 편향시킨다. 이를 통해 MPPI의 샘플 효율을 높이고, 모듈형 MPPI 비용 항으로 정의된 새로운 목표들을 온라인으로 적용하면서도 기저 정책은 변경하지 않는다.

Achievement

Fig. 1.

주요 성과:

RL guided whole-body MPPI 프레임워크 제안으로 기존 RL 정책에 plug-and-play 피드백 제어기로 작용 가능
29-DoF Unitree G1 humanoid에서 평균 280 Hz의 안정적인 고주파 제어 달성
동일한 명령 인터페이스 하에서 순수 RL 기저선 대비 작업 레벨 정밀도 개선
직진 보행 시 체계적 표류 보정 및 추가 전신 참조 신호 추적 가능 입증

How

Fig. 1.

RL 정책을 sampling 평균 prior로 사용하여 MPPI 탐색 분포를 동적으로 가능한 영역으로 편향
모듈형 비용 항으로 작업 목표(swing foot clearance, pelvis height 등) 정의
physics engine(MuJoCo) 기반 MPPI로 비용 평가 및 제어 업데이트
비동기 receding horizon 루프로 실시간 제어
PD 제어기로 MPPI 생성 목표를 추적

Limitation & Further Study

본 논문은 시뮬레이션(MuJoCo) 결과만 제시하며, 실제 하드웨어 로봇에서의 sim-to-real transfer 검증이 부족하다. MPPI의 샘플 수와 계산 비용에 대한 분석이 충분하지 않으며, 정책 prior의 품질이 성능에 미치는 영향에 대한 심화 분석이 필요하다. 또한 vanilla MPPI 대비 구체적인 성능 개선 수치가 정량화되지 않았고, 다양한 환경과 작업에 대한 일반화 능력이 제한적으로 평가되었다.

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 RL과 MPPI를 효과적으로 결합한 실용적인 humanoid 제어 프레임워크를 제시하며, 기저 정책 재학습 없이 새로운 목표를 추가할 수 있는 모듈형 설계가 강점이다. 고주파 안정적 제어와 정밀도 개선이 입증되었으나, sim-to-real transfer 부재와 정량적 성능 분석 부족이 한계이다.