No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets

Motivation

Known: 강화학습 기반 휴머노이드 로봇 이동 제어는 장거리 속도 추적 작업에서 성공했으나, 대부분의 기존 방법은 velocity-tracking을 최적화하기 때문에 단거리 작업에서 비효율적이다.
Gap: 기존 velocity-tracking 기반 보상 함수는 위치와 방향을 동시에 고려해야 하는 SE(2) 목표 도달 작업에 부적합하며, 단거리 작업 특화 보상 함수의 설계가 필요하다.
Why: 실제 작업 환경에서 휴머노이드는 상자 이동 등 제한된 공간에서 빠르고 에너지 효율적인 단거리 이동이 필요하므로, 이를 위한 자연스럽고 효율적인 제어 방법이 실무적으로 중요하다.
Approach: 점 constellation을 이용하여 로봇의 현재 위치와 목표 위치의 기하학적 유사성을 직접 비교하는 보상 함수를 설계하고, 이를 통해 위치와 회전을 통합적으로 최적화하는 end-to-end RL 정책을 학습한다.

Fig. 4: Performance comparison between GoTo controller in simulation (green) and real-world deployment (orange) across i

constellation 기반 보상 함수: 점 구름의 기하학적 정렬을 통해 위치와 회전을 동시에 자연스럽게 균형 맞추며, constellation의 관성 모멘트로 trade-off를 직관적으로 제어 가능
벤치마킹 프레임워크: 에너지 소비, time-to-target, footstep count 등 해석 가능한 메트릭을 통해 단거리 SE(2) 이동 성능을 정량적으로 평가
sim-to-real 전이 성공: 시뮬레이션에서 학습한 정책이 Digit v3 휴머노이드 하드웨어에 성공적으로 전이되어 실무 적용 가능성 입증
성능 개선: 제시된 접근법이 velocity-tracking 기반 방법들보다 에너지 효율, 속도, 자연스러움 측면에서 일관되게 우수한 성능 달성

Fig. 2: The figure shows three control architectures for humanoid

Goal-conditioned MDP로 문제 공식화하여 SE(2) 목표 위치와 로봇의 현재 상태를 입력으로 정의
로봇 베이스에 부착된 가상 2D 점 constellation과 목표 위치의 constellation 간 정렬 정도를 기하학적 거리 척도로 계산
constellation 정렬 거리를 직접 보상 신호로 사용하여 위치와 방향 진행을 동시에 촉진
PPO 또는 유사 RL 알고리즘으로 end-to-end 정책 학습 또는 사전 학습된 velocity 컨트롤러 위의 hierarchical 정책 학습
다양한 SE(2) 목표 분포에서 시뮬레이션 평가 후 sim-to-real 전이 수행

고정 기반 조작기의 loss function에서 영감을 받은 constellation 기반 보상을 bipedal SE(2)-target 이동에 최초 적용
위치와 회전 균형을 constellation의 물리적 특성(관성 모멘트)으로 제어하는 새로운 접근
velocity-tracking 기반이 아닌 직접 pose reaching 최적화를 통해 단거리 작업 특화 행동 생성
단거리 SE(2) 목표 도달에 대한 명시적 벤치마킹 프레임워크 최초 제시