HuB: Learning Extreme Humanoid Balance

Motivation

• Known: 휴머노이드 제어에서 강화학습을 활용한 학습 기반 방법들이 다양한 동작(보행, 뛰기, 춤추기 등)에서 성공을 거두었으나, 극단적인 준정적 균형 유지 같은 정밀한 균형 제어 작업에는 미적용되었다. 기존 추적 기반 방법들은 참조 동작의 부정확성, morphological mismatch, 센서 노이즈 등으로 인해 복잡한 균형 태스크에서 실패한다.
• Gap: 기존 tracking-based 휴머노이드 제어 연구는 참조 동작 오류(video-based motion capture의 부정확성, retargeting 최적화 실패), 정책 학습의 어려움(인간과 휴머노이드의 무게중심 불일치로 인한 안정성 문제), sim-to-real 갭(센서 노이즈, 접촉 모델링 오류)을 동시에 해결하지 못했다. 특히 극단적인 준정적 균형 유지에 특화된 통합 솔루션이 부재했다.
• Why: 휴머노이드의 극단적 균형 능력은 전신 협조, 정밀한 무게중심 제어, 외부 교란 강건성을 모두 요구하며, 이는 로봇 제어의 핵심 어려움을 대표한다. 실제 하드웨어에서 이를 달성하는 것은 로봇 공학의 중요한 과제이며, 본 논문의 통합 접근법은 산업 응용(균형 유지가 필요한 작업)과 기본 연구(휴머노이드 제어 메커니즘 이해)에 기여할 수 있다.
• Approach: 세 가지 구성 요소로 이루어진 통합 프레임워크: (1) Reference Motion Refinement: SMPL 초기화를 활용한 retargeting 수렴 가속화 및 발 미끄러짐 제거, 전이 안정화를 위한 후처리; (2) Balance-Aware Policy Learning: 추적 목표 완화, 무게중심 보상, 발 접촉 불일치 페널티 등의 shaping reward 도입; (3) Sim-to-Real Robustness Training: 국소화된 참조 추적으로 VIO 의존성 제거, IMU 중심 관찰 perturbation으로 센서 노이즈 모델링, 고주파 외부 푸시로 실제 jitter 근사.

Achievement

Figure 2: HuB Overview. To tackle the challenges of extreme balance tasks on humanoids, HuB integrates

극단적 균형 태스크 달성: Unitree G1 로봇이 Swallow Balance(상체 수평 확장), Bruce Lee's Kick(다리 1.5m 이상 높이 올리기), Ne Zha Pose 등을 성공적으로 수행; 강건성 입증: 강한 축구 킥 같은 물리적 교란에서도 안정성 유지, 기저선 방법들은 균형 상실 또는 실패; 연속 성공: 10회 연속 실행 달성 (리셋 없음); Ablation 검증: 각 구성 요소의 필요성 입증.

How

Figure 2: HuB Overview. To tackle the challenges of extreme balance tasks on humanoids, HuB integrates

• Reference Motion Refinement: SMPL 신체 모델을 retargeting 초기화로 사용하여 수렴 속도 향상, 발 접촉 감지를 통한 발 미끄러짐 수정, 무게중심 필터링으로 전이 안정화
• Balance-Aware Policy Learning: 정확한 추적 대신 참조 궤적 근처에서 탐색 허용, 무게중심 위치 보상, 발 접촉 불일치 및 발 간격에 대한 페널티 추가
• Sim-to-Real Training: IMU 기반 관찰 perturbation, 고주파 외부 푸시 적용, 국소 참조 추적 도입

Originality

• 통합적 솔루션: 기존 연구에서 별도로 다루어진 참조 동작 정제, 정책 학습, sim-to-real 전이를 하나의 일관된 프레임워크로 통합
• 균형 중심 설계: 기존 동작 추적 기반 제어와 달리, 준정적 균형 유지에 특화된 reward shaping 및 정책 학습 전략 개발
• 실제 하드웨어 검증: 실제 휴머노이드 로봇(Unitree G1)에서 극단적 균형 태스크 성공 입증, 기존 방법의 실패와 대조

Limitation & Further Study

• 데이터셋 의존성: 고품질 참조 동작 획득이 어려운 신규 극단적 태스크의 경우, 초기 retargeting 품질에 강하게 의존할 수 있음
• 로봇 특이성: Unitree G1에서만 검증되었으며, 다른 형태의 휴머노이드(예: 다리 길이, 무게중심 위치 상이)에 대한 일반화 정도 미명확
• 계산 비용: 세 가지 학습 단계(참조 정제, 정책 학습, robustness 학습)가 순차적으로 필요하여 전체 학습 시간 및 계산 자원 요구량 미상세
• 후속 연구: 더 동적인 균형 움직임(예: 균형 회복 중 빠른 스텝)이나 불규칙한 지형에서의 성능 평가 필요

Evaluation

총평: 본 논문은 휴머노이드의 극단적 균형 제어라는 도전적인 문제에 대해 잘 동기부여되고 체계적으로 설계된 솔루션을 제시한다. 세 가지 핵심 장애물(참조 오류, morphological mismatch, sim-to-real 갭)을 각각 겨냥한 모듈식 접근법과 실제 하드웨어에서의 강력한 실험 검증이 강점이다. 다만 다른 휴머노이드 플랫폼으로의 일반화 가능성과 학습 효율성 측면에서 추가 논의가 필요하다.