Sumo: 동적이고 일반화 가능한 전신 이동-조작 제어

Motivation

• Known: 강화학습은 로봇 보행 정책 학습에 성공했으나 조작 작업 일반화에 제한이 있고, 샘플 기반 MPC는 유연하지만 고자유도 동적 불안정 작업에서 어려움을 겪는 것으로 알려져 있다.
• Gap: 기존 접근법들은 동적 전신 조작 작업의 복잡성과 테스트 시점 다양성을 동시에 해결하지 못했다. RL 기반 방법은 작업별 보상 공학을 요구하고 일반화가 어려우며, 순수 MPC는 고차원 동적 시스템에서 최적해를 찾기 어렵다.
• Why: 전신 조작은 로봇의 온전한 신체 조정이 필요하며 크기와 무게가 로봇 자신과 비교할 수 있는 물체들을 다루어야 하기 때문에 중요하다. 재학습 없는 일반화 능력은 실제 배포 환경에서 실용성을 크게 높인다.
• Approach: RL로 사전학습한 전신 제어 정책을 저수준 컨트롤러로 사용하고, 샘플 기반 MPC를 고수준 계획기로 활용하여 계층적 구조를 구성한다. 고수준 MPC는 50Hz에서 작동하는 저수준 정책에게 원하는 몸통·팔·다리 명령을 20Hz 주기로 전달한다.

Achievement

Fig. 4: Comparing Sumo (ours, yellow) to end-to-end RL

실제 로봇 검증: 로봇 무게보다 무거운 타이어 세우기, 로봇보다 크고 높은 배리어 드래깅 등 도전적 작업 성공

일반화 능력: 재학습 없이 새로운 물체(타이어, 의자, 박스 등) 및 새로운 작업에 적응 가능

비교 분석: 순 MPC 및 순 RL 기준선 대비 계층적 구조의 우월성 입증 - 더 간단한 목표 함수로 유사하거나 우수한 성능 달성

확장성: Spot 사족 로봇 8가지 실제 시연 및 G1 인형 로봇 4가지 시뮬레이션 시연 포함

How

Fig. 3: Illustrations comparing (a) standard dynamics rollouts

• 사전학습 정책: 도메인 랜더마이제이션을 통해 강력한 기본 제어 능력 확보
• MPC 계획: 테스트 시점에 객체 모델과 비용 함수 변경으로 새로운 작업에 적응
• 계층 설계: 저수준 정책이 고차원 동작 공간을 축소하고 동역학 안정성 제공
• 실시간 구현: 다중 스레드 롤아웃으로 20Hz 계획 주기 달성

Originality

• RL과 MPC의 장점 결합: 순수 접근 방식의 단점을 보완하는 새로운 계층적 구성
• 테스트 시점 유연성: 객체 모델과 비용 함수 변경만으로 새 작업 적응 (재학습 불필요)
• 동적 조작의 어려움 해결: 기존 준정적(quasi-static) 조작 한계를 뛰어넘는 동적 전신 조작 실현

Limitation & Further Study

기술적 제약: 현재 구현은 특정 로봇 플랫폼(Spot, 시뮬레이션 G1)에 최적화되어 있으며, 다른 로봇 형태로의 전이 용이성 미검증

계획 한계: 샘플 기반 MPC의 계산 복잡도 증가로 초장시간 수평선이나 고차원 명령 공간에서 성능 저하 우려

일반화 범위: 테스트 검증이 특정 물체 카테고리(타이어, 배리어, 의자, 박스)에 집중되어 더 광범위한 물체 기하학적 다양성 검증 필요

후속 연구: 인형 로봇 실제 검증 부재 (시뮬레이션만 수행), 더욱 복잡한 접촉 시나리오 처리 능력 미확인

Evaluation

총평: Sumo는 동적 전신 조작이라는 도전적 과제에서 실용적이고 일반화 가능한 해결책을 제시한다. 계층적 프레임워크의 설계가 우수하고 실제 로봇 검증이 설득력 있으며, 재학습 없는 적응 능력이 인상적이다. 다만 인형 로봇 실제 검증과 더 광범위한 물체 기하학적 다양성 시험이 있으면 영향력이 더욱 클 것이다.