Sumo: 동적이고 일반화 가능한 전신 이동-조작 제어

Motivation

• Known: 강화학습은 복잡한 환경에서 견고한 제어 정책을 학습할 수 있으나, 새로운 조작 작업마다 보상 엔지니어링과 재학습이 필요하다. 샘플 기반 MPC는 접촉 풍부한 조작에 효과적이지만, 높은 자유도 로봇이나 동적으로 불안정한 작업에서는 어려움을 겪는다.
• Gap: 기존 연구는 강화학습의 강점(견고한 정책 학습)과 샘플 기반 MPC의 강점(훈련 없이 테스트 시점 적응)을 동시에 활용하지 못했다. 특히 동적 전신 조작이 필요한 고차원 문제에서 두 방법의 한계를 극복하는 통합 접근이 부재했다.
• Why: 동적 조작은 로봇 공학의 오랜 도전 과제이며, 특히 로봇보다 크거나 무거운 물체를 다루는 능력은 실제 응용에서 매우 중요하다. 계층적 접근으로 두 방법의 장점을 결합하면 효율적이고 일반화 가능한 솔루션이 가능하다.
• Approach: 사전 학습된 PPO 기반 전신 제어 정책이 50Hz에서 저수준 제어를 담당하고, 20Hz의 고수준 샘플 기반 MPC가 torso, arm, leg 명령을 계획한다. MPC는 multi-threaded rollouts로 물체 상태를 추적하며, 테스트 시점에 비용 함수와 물체 모델만 변경하여 새로운 작업에 적응한다.

Achievement

Fig. 4: Comparing Sumo (ours, yellow) to end-to-end RL

• 실제 Spot 로봇 실험: 로봇 자신의 리프팅 용량을 초과하는 타이어 직립, 로봇보다 크고 무거운 군중 통제 배리어 드래깅, 다양한 물체 스택 및 이동 작업 성공\n- 시뮬레이션 G1 인형로봇 시연: 문 개폐, 테이블 밀기 등 인형 조작 작업 4가지 시연\n- 일반화 성능: 추가 학습 없이 새로운 물체와 작업에 적응\n- 벤치마크 제공: 전신 조작이 필요한 로코-조작 작업 데이터셋 공개

How

Fig. 3: Illustrations comparing (a) standard dynamics rollouts

• 계층적 구조로 검색 공간 축소 및 동적 안정화: 전신 정책의 명령 공간에서 계획하여 end-to-end MPC보다 효율적\n- 테스트 시점 유연성: 재학습 없이 비용 함수와 물체 모델 변경으로 새로운 시나리오 적응\n- 도메인 랜더마이제이션을 활용한 사전학습으로 현실 편차 극복\n- multi-threaded rollout으로 병렬 처리하여 실시간 성능 확보

Originality

• 계층적 결합의 새로운 통합: RL과 샘플 기반 MPC를 동적 조작 문제에 처음으로 효과적으로 결합\n- 테스트 시점 일반화 패러다임: 재학습 없이 물체 모델과 비용 함수만으로 새로운 작업 해결\n- 사족-인형 양방향 검증: Spot 실제 로봇과 G1 시뮬레이션으로 방법의 광범위한 적용 가능성 시연\n- 전신 동적 조작의 실제 구현: 기존 학습 기반 조작의 한계를 뛰어넘는 동적 접근

Limitation & Further Study

• MPC의 계산 복잡도로 인한 계획 빈도 제한(20Hz): 더 빠른 응답이 필요한 시나리오에서 한계\n- 사전 학습 정책 품질에 크게 의존: 학습 분포 외의 매우 다양한 시나리오에서 성능 저하 가능성\n- 물체 동역학 모델 정확도 필요: 부정확한 모델은 계획 최적성 감소\n- 인형 로봇 시연이 시뮬레이션만 제공: 실제 인형 하드웨어 검증 부재\n- 고립된 작업 시나리오: 연속적 다중 작업 전환이나 복잡한 환경 상호작용 미평가

Evaluation

총평: 본 논문은 강화학습과 샘플 기반 MPC를 계층적으로 결합하는 우아한 방식으로 동적 전신 로코-조작을 처음 구현했으며, Spot 실제 로봇에서의 인상적인 결과와 일반화 가능성은 로봇 조작 분야에 의미 있는 기여를 한다. 테스트 시점 유연성과 훈련 없는 적응은 실무 적용에 큰 가치가 있다.