Deep Whole-body Parkour

Motivation

• Known: Deep reinforcement learning이 다리 로봇 제어에서 높은 성과를 보였으나, 기존 perceptive locomotion은 발 기반 보행만 가능하고 general motion tracking은 환경을 무시하는 한계가 있다. DeepMimic과 AMP는 복잡한 동작 추적에 성공했으나 환경 인식 능력이 부족하다.
• Gap: 기존 연구들은 지형 인식 능력과 복잡한 전신 동작 수행 능력을 동시에 달성하지 못했다. Perceptive locomotion은 속도 명령으로 제한되어 vault와 같은 복잡한 상호작용 모드를 구분할 수 없고, motion tracking은 평면 환경을 가정하여 불규칙한 지형에 적응하지 못한다.
• Why: humanoid robot이 인간 수준의 이동성을 달성하려면 발 접촉뿐만 아니라 손 등 전신을 활용한 다중 접촉 상호작용이 필수이며, 동시에 환경 기하학에 대한 실시간 적응이 필요하기 때문에 중요하다.
• Approach: 광학 모션 캡처와 LiDAR 기반 3D 스캔으로 인간 parkour 동작과 환경 기하학을 동시에 수집하고, GMR 프레임워크로 Unitree G1 humanoid에 재타겟팅한다. 스캔된 메시를 처리하여 canonical obstacle 자산을 생성하고, NVIDIA Isaac Lab에서 대규모 병렬 학습 환경을 구축한다. 커스텀 GPU 기반 ray-caster를 구현하여 병렬 환경에서 depth 센싱을 효율적으로 처리한다.

Achievement

Fig. 1: Deep Whole-Body Parkour. Our framework enables a humanoid robot to autonomously traverse challenging obstacles

정확한 다중 접촉 parkour 수행: Vault, dive-rolling, jumping을 불규칙한 지형에서 견고하게 실행하며, 단일 정책으로 여러 구별되는 동작을 다양한 지형 특성에 걸쳐 수행한다. 초기 조건에 대한 강건성: 시각 피드백을 통해 로봇이 플랫폼까지의 거리나 각도 변화에 자동으로 적응하여 정확한 발과 손 접촉을 보장한다. traversability 확장: 단순 보행이나 달리기를 크게 넘어서는 능력을 시연한다. 기술 기여: Mesh instancing과 collision grouping을 활용한 최적화된 ray-caster 구현으로 고처리량의 depth 시뮬레이션 가능하게 한다.

How

Fig. 2: Data-driven whole-body control framework. Real-world environment scans and human demonstrations are processed an

• 실제 환경 스캔과 인간 시연을 수집하고 정렬하여 실행 가능한 동작-지형 쌍 생성
• Motion capture 데이터와 LiDAR 스캔을 동시에 수집하여 공간적 정렬 보장
• GMR 기반 최적화 kinematic filtering으로 robot morphology에 맞게 재타겟팅
• Procedural environment generation으로 특정 capture 환경에 과적합되지 않도록 일반화
• 대규모 reinforcement learning으로 exteroceptive observations를 포함한 정책 훈련
• GPU 병렬화된 ray-casting으로 수천 개 시뮬레이션 환경에서 효율적 depth 렌더링

Originality

• Perceptive locomotion과 general motion tracking 패러다임의 최초 통합으로 whole-body awareness와 environment adaptability를 동시에 달성
• Motion capture와 환경 기하학을 엄격하게 결합하는 custom dataset curation 방식의 혁신
• Mesh instancing과 collision grouping을 활용한 고도로 최적화된 parallel ray-caster의 신규 구현
• Closed-loop visual feedback을 통한 fragile trajectory tracking의 robust spatial-aware control로의 변환

Limitation & Further Study

데이터 수집의 제한성: 모션 캡처와 LiDAR 스캔 프로세스가 수동 작업과 실시간 동기화를 요구하여 규모 확장이 어렵고, 특정 유형의 parkour 동작만 수집 가능하다.

Sim-to-real gap: 시뮬레이션된 depth 렌더링과 실제 센서의 노이즈 특성 불일치로 인한 도메인 갭 존재.

환경 복잡성: 절차적 환경 생성이 isolated obstacle geometries에 중점을 두어 복합적인 multi-obstacle 환경이나 동적 장애물에 대한 성능 미흡.

후속 연구: 더 다양한 humanoid morphologies로의 확장, 동적 환경 처리, 학습 효율성 개선이 필요하다.

Evaluation

총평: 이 논문은 humanoid robot 제어의 두 주요 패러다임을 창의적으로 통합하여 지형 인식 능력과 복잡한 전신 동작을 동시에 달성하는 실질적인 솔루션을 제시한다. 커스텀 dataset curation, 최적화된 parallel simulation, 견고한 폐루프 제어 통합을 통해 vault와 dive-rolling 같은 고도로 동적인 parkour 기술을 실제 humanoid에서 구현했다는 점에서 의의가 크다.