Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots

Motivation

• Known: Humanoid robot의 multi-skill 학습에서 MoE 기반 접근법이나 대규모 모델 훈련이 기존의 주요 방법이었으나, 복잡한 topology 조정이나 높은 계산 비용으로 인해 경량 배포가 어렵다.
• Gap: 기존 방법들은 새로운 스킬 학습 시 network topology 조정 또는 대규모 모델 훈련이 필요하며, motion imitation 기반 접근법에서는 기존 능력의 catastrophic forgetting 문제와 cross-modal motion generalization의 저비용 달성이 어렵다.
• Why: Embodied intelligence의 발전에서 humanoid robot이 다양한 환경과 작업에 적응하기 위해서는 여러 스킬을 효율적으로 학습하고 유지하면서도 가벼운 배포가 가능해야 한다.
• Approach: Root skill(flat-ground walking)을 기반으로 branch skill들이 hierarchical하게 parameter를 상속받는 tree 구조를 설계하고, phase modulation과 interpolation을 결합한 multi-modal feedforward adaptation mechanism과 task-level reward shaping을 제안한다.

Achievement

Figure 2: Tree Learning for Unitree G1.

• Catastrophic forgetting 완전 제거: Root-branch hierarchical parameter inheritance mechanism과 physically isolated sub-network clusters를 통해 100% skill retention rate를 달성하면서 multi-skill 확장
• 경량 배포 가능성: MoE의 topology 조정이나 대규모 모델 훈련 없이 효율적인 incremental fine-tuning 파이프라인 제공
• 다양한 모션 지원: Phase modulation 방식으로 periodic locomotion(walking, running, stair climbing, jumping)을 지원하고 interpolation 방식으로 aperiodic actions(squatting)을 처리
• 실시간 interactive control: 11가지 고도의 dynamic skill을 seamless하게 전환하면서 user input을 통한 real-time interactive control 실현
• 우수한 성능 및 일반화: Simultaneous multi-task training 대비 higher rewards 달성 및 Super Mario-inspired scenario와 classical Chinese garden autonomous navigation에서 generalization capability 검증

How

Figure 3: Interactive multi-skill control.

• Phase modulation method: Gait phase activation factors u₁, u₂를 이용한 cosine 함수 기반 주기적 모션의 feedforward action trajectory 설계로 left-right leg 교대 움직임 구현
• Interpolation method: Aperiodic action(squatting)에 대해 linear interpolation을 사용하여 연속적으로 조정 가능한 action depth 제공
• Parameter inheritance: Root skill 완전 학습 후 모든 branch skill이 parent network의 weights를 초기값으로 상속받아 training from scratch의 효율 손실 회피
• Physically isolated sub-network clusters: Inference 시 메모리 제약 만족 및 multi-task joint optimization에서의 gradient interference 완전 제거
• Task-level reward shaping: Table 1의 기본 reward components(velocity tracking, angular velocity tracking, center of mass height, orientation constraint, survival reward, action energy penalty)를 통해 skill convergence 가속화
• State-action space consistency: Root skill과 모든 branch sub-network이 동일한 센서 입력과 joint control output 차원을 유지하여 skill switching 시 seamless transition 보장

Originality

• 생물 진화의 계층적 상속과 specialized evolution 메커니즘을 영감으로 하는 tree 구조 기반 hierarchical parameter inheritance는 기존 MoE나 monolithic 대규모 모델과 구별되는 novel architecture
• Phase modulation과 interpolation을 결합한 multi-modal feedforward adaptation mechanism으로 periodic과 aperiodic 모션을 통일된 프레임워크에서 처리하는 창의적 접근
• Physically isolated sub-network clusters를 통해 catastrophic forgetting을 architecture 수준에서 근본적으로 제거하는 방식은 기존 continual learning의 regularization-based 접근과 차별화
• Task-level reward shaping 전략으로 branch skill의 빠른 수렴을 달성하면서도 root skill 보존을 동시에 보장하는 설계

Limitation & Further Study

• Hierarchical structure의 경직성: Tree 구조에서 parent-child 관계가 고정되면 다른 부모 스킬로부터의 knowledge transfer나 cross-branch 학습이 제한될 수 있음
• Root skill 의존성: 모든 branch skill이 root skill(flat-ground walking)에서 시작하므로, root skill의 성능이 전체 시스템의 상한선이 될 수 있음
• Real-world 검증 부재: Unity 시뮬레이션 환경에서만 검증되었으며, 실제 Unitree G1 humanoid robot 또는 다른 로봇 플랫폼에서의 실제 성능 검증이 필요
• Skill 간 상호작용 미흡: 서로 다른 branch의 스킬들 간에 knowledge sharing이나 interaction이 제한되어 더 복잡한 composite skill 학습에 제약이 있을 수 있음
• 후속연구 방향: (1) Adaptive tree restructuring을 통한 동적 계층 재조정 메커니즘 개발, (2) Cross-branch knowledge transfer를 위한 lateral connection 추가, (3) Real humanoid robot에서의 실시간 deployment 및 robust성 검증, (4) 더 복잡한 환경과 task에 대한 generalization 연구

Evaluation

총평: Tree Learning은 biological hierarchy inspired architecture를 통해 humanoid robot의 multi-skill continual learning에서 catastrophic forgetting을 근본적으로 해결하면서 경량 배포를 가능하게 하는 창의적인 솔루션이다. 다만 real-world 환경에서의 실제 검증과 더 복잡한 skill 상호작용에 대한 확장성이 향후 과제이다.