A Hierarchical Framework for Humanoid Locomotion with Supernumerary Limbs

Motivation

• Known: 기존 인형로봇 제어는 Zero-Moment Point (ZMP) 기준의 모델 기반 방법이나 Deep Reinforcement Learning (DRL) 기반 접근이 주를 이루었으며, 초과 사지를 이용한 균형 증강 연구는 정적 고정이나 특수화된 꼬리/다리 같은 제한된 형태에 국한되어 있었다.
• Gap: 일반 목적의 인형로봇 팔을 동시에 조작 작업과 동적 균형 보조에 사용하면서 무거운 초과 사지의 연속적이고 예측 불가능한 동적 교란에 대응하는 통합 제어 프레임워크가 부재했다.
• Why: 인형로봇에 초과 사지를 통합할 때 동적 교란으로 인한 안정성 저하는 로봇의 다중 기능성을 제한하는 핵심 문제이며, 이를 해결하면 조작 능력과 이동성을 동시에 갖춘 다목적 로봇 플랫폼 개발이 가능해진다.
• Approach: DRL 기반 imitation learning과 curriculum learning을 통해 Unitree H1 인형로봇의 안정적인 보행 정책을 학습하고, CoM과 CoS 피드백을 기반으로 하는 모델 기반 동적 균형 제어기를 설계하여 저수준과 고수준 제어기를 계층적으로 분리 결합한다.

Achievement

Figure 3.1: Training performance of the PPO agent over 500 million environment steps. (a)

• CoM 궤적 안정성 개선: 정적 페이로드 대비 동적 균형 제어기 적용 시 Dynamic Time Warping (DTW) 거리를 47% 감소
• 보행 패턴 정규화: 균형 제어 전략이 기준 보행에 더 가깝한 보행 패턴을 생성
• 보행 주기 내 재안정화: 동적 균형 제어기가 보행 주기 내 재안정화 성능 개선
• 조응적 GRF 패턴: Ground Reaction Forces의 더욱 조응적인 anti-phase 패턴 달성

How

Figure 2.1: The composite robot model used in the simulation, illustrating (a) the Unitree H1

• PPO 알고리즘을 사용한 정책 학습 (500백만 환경 스텝)
• DeepMimic 방식의 imitation learning으로 자연스러운 보행 생성
• Curriculum learning으로 SL의 질량과 동적 포즈를 점진적으로 도입
• Model-based 동적 균형 제어기로 실시간 CoM/CoS 피드백 기반 SL 자세 제어
• 계층적 제어 융합으로 저수준과 고수준 제어기 통합

Originality

• 일반 목적의 인형로봇 팔을 동적 균형 보조에 활용하는 첫 체계적 접근
• DRL 기반 보행과 model-based 균형 제어를 계층적으로 분리한 프레임워크 설계
• 초과 사지의 예측 불가능한 동적 교란을 명시적으로 고려한 제어 구조 개발

Limitation & Further Study

• 물리 시뮬레이션 환경에서만 평가되었으며, 실제 로봇 하드웨어 검증이 부재
• 추가 사지의 무게 제한(30kg 최대)과 특정 로봇 플랫폼(Unitree H1)에 대한 경험적 결과
• 제어 융합 메커니즘의 상세한 안정성 분석 부족
• 불규칙한 지형이나 외부 교란에 대한 성능 평가 미흡

후속 연구: 실제 로봇 하드웨어에서의 검증, 보다 무거운 초과 사지 수용, 비정형 환경에서의 견고성 평가, 다양한 보행 속도와 복합 조작 작업 동시 수행 능력 확대

Evaluation

총평: 본 논문은 계층적 제어 프레임워크를 통해 초과 사지 장착 인형로봇의 안정적 보행 문제를 창의적으로 해결한다. DRL 기반 보행 정책과 model-based 균형 제어의 결합은 기술적으로 타당하며 47% DTW 개선이라는 정량적 성과를 달성한다. 다만 시뮬레이션 한정 평가와 실제 하드웨어 검증 부재가 실용적 기여도를 제한한다.