PILOT: A Perceptive Integrated Low-level Controller for Loco-manipulation over Unstructured Scenes

Motivation

• Known: Humanoid robot의 locomotion은 blind policy에서 perception 기반 elevation map 방식으로 발전했으며, 기존 whole-body controller들은 manipulation 능력이 제한적이었다.
• Gap: 기존 연구들은 지형 인식 없이 loco-manipulation을 수행하거나, lower-body와 upper-body를 분리하여 제어함으로써 자연스러운 whole-body 협응을 놓치고 있다.
• Why: Humanoid robot이 인간 중심 환경에서 계단이나 울퉁불퉁한 지형을 안전하게 이동하면서 조작 작업을 수행해야 하는 실제 응용이 필요하기 때문이다.
• Approach: Cross-modal context encoder로 proprioceptive features와 LiDAR 기반 elevation map을 fusion하고, Mixture-of-Experts 구조로 다양한 motor skill을 조정하여 통합된 perceptive loco-manipulation controller를 제안한다.

Achievement

Fig. 3. Real-world Experiments. PILOT successfully executes object transport tasks across challenging terrains. The robo

• 통합 프레임워크: 단일 policy로 perception-aware locomotion과 large-workspace whole-body control을 seamlessly 통합
• 다중 모달 인식: Attention 기반 multi-scale perception encoder로 정확한 foot placement와 terrain awareness 강화
• 운동 기술 조정: MoE 구조를 통해 locomotion과 manipulation 간의 자연스러운 전환 및 협응 실현
• 실제 성능: Unitree G1 humanoid robot에서 stairs와 high steps 같은 복잡 지형에서 superior stability와 command tracking precision 달성

How

Fig. 2. Visualization of expert activation across six motion modes. The

• Robot-centric LiDAR 기반 elevation map으로 주변 지형 정보 캡처
• Prediction 기반 proprioceptive feature와 attention 기반 perceptive representation을 fusion하는 cross-modal context encoder 설계
• Random command sampling으로 feasible command space를 포괄적으로 커버하여 distribution bias 완화
• Mixture-of-Experts policy architecture로 diverse motor skill 간 coordination
• VR interface를 통한 teleoperation과 hierarchical RL 기반 autonomous task execution 지원

Originality

• Perception-aware whole-body control의 단일 통합 policy 설계로 기존 decoupled approach의 한계 극복
• Cross-modal context encoder를 통한 proprioceptive와 exteroceptive feature의 principled fusion
• MoE 구조를 humanoid loco-manipulation 문제에 적용하여 motor skill 간 자동 specialization 실현
• Motion capture 데이터 대신 progressive random command sampling으로 distribution bias 제거

Limitation & Further Study

• LiDAR elevation map의 계산 비용과 실시간 처리 가능성에 대한 분석 부재
• 다양한 humanoid robot 플랫폼에 대한 generalization 성능 평가 필요
• 복잡한 manipulation 작업(예: 정밀 assembly)에서의 성능 한계 가능성
• MoE 구조의 expert 수와 activation 메커니즘에 대한 ablation study 심화 필요
• Extremely steep terrain이나 동적 장애물 회피 시나리오에 대한 추가 평가 요구

Evaluation

총평: PILOT는 humanoid loco-manipulation 문제에 대한 통합적이고 실용적인 해결책을 제시하며, cross-modal perception과 MoE 구조를 통해 기술적 기여와 실제 로봇 구현의 성공적 사례를 보여준다.