Switch: Learning Agile Skills Switching for Humanoid Robots

Motivation

• Known: Deep reinforcement learning을 통한 전신 제어로 humanoid robot이 뛰어난 동작 기술을 수행할 수 있게 되었으나, 서로 다른 기술들 간의 부드러운 전환이 어렵고 안전 문제가 발생한다.
• Gap: 기존 접근법은 사전 정의된 궤적에 의존하거나 skill 간 전환 데이터가 부족하며, 추적 오차 발생 시 온라인 재계획 능력이 없어 실패로 이어진다.
• Why: Humanoid robot의 실용적 배포를 위해서는 개별 동작뿐 아니라 동작 간의 자연스럽고 안정적인 전환이 필수적이며, 제한된 전환 데이터로도 동작할 수 있는 방법이 필요하다.
• Approach: Kinematic similarity에 기반해 cross-skill transition을 자동으로 생성하는 Skill Graph를 구축하고, 이를 활용해 reinforcement learning으로 unified tracking policy를 학습한 후, 온라인 그래프 탐색을 통해 실시간 skill switching을 수행한다.

Achievement

Fig. 4: Quantitative Evaluation of Skill Execution Performance. We analyzes the full-body tracking performance of the pr

• Skill Graph 기반 데이터 증강: 기존 motion data의 kinematic similarity를 활용해 다양한 cross-skill transition을 자동으로 추가하고, 큰 gap에는 buffer node를 삽입해 전환 가능성을 높임
• Buffer-aware imitation 메커니즘: Buffer node를 포함한 transition 학습 시 첫 번째 non-buffer successor node와의 거리를 측정하는 방식으로 안정적인 추적 학습 가능
• 온라인 skill scheduler: 실시간 shortest-path 탐색을 통해 현재 로봇 상태에서 목표 skill까지의 최적 경로를 동적으로 계획하고, 추적 오차 발생 시 자동으로 복구 경로 생성
• 높은 실용성: Unitree G1에서 Kung Fu, kick, dance 등 다양한 동적 동작 간의 seamless transition을 실현하며, perturbation에 대해서도 안정적인 성능 유지

How

Fig. 2: The Switch system: (a) We retarget human motion capture skills onto the robot. We then construct a skill graph w

• Motion capture 데이터를 humanoid robot에 retarget하여 여러 skill의 reference sequence 확보
• 각 frame을 노드로, temporal transition과 cross-skill similarity 기반 transition을 간선으로 하는 directed weighted graph 구성
• Large gap이 있는 cross-skill edge에는 similarity와 거리에 기반해 개수를 결정한 buffer node 삽입
• Skill graph 상의 모든 transition (buffer node 포함)에 대해 reinforcement learning으로 unified tracking policy 훈련
• 배포 시 사용자의 skill 변경 또는 추적 실패 감지 시 현재 상태 기반 Dijkstra/A* 등의 graph search로 최적 경로 계획
• 계획된 경로의 중간 target들을 tracking policy의 reference로 제공하여 smooth transition 실현

Originality

• Motion data의 kinematic similarity를 활용한 자동 cross-skill transition 생성 아이디어는 기존의 Motion Graph 개념을 동역학적 로봇 제어에 접목한 점에서 창신적
• Buffer node 삽입을 통한 점진적 transition 가능성 증대 방식은 기하학적으로 멀리 떨어진 상태들 간 연결을 실현하는 새로운 시도
• 온라인 graph search 기반 실시간 재계획으로 open-loop tracking의 취약점을 해결하는 점이 기존 접근의 한계를 극복
• Buffer-aware imitation loss는 intermediate buffer state를 적절히 취급하는 novel한 학습 기법

Limitation & Further Study

• Skill graph 구성 시 similarity threshold와 buffer node 개수 결정이 휴리스틱에 의존하며, 이러한 하이퍼파라미터의 최적화 방법이 명확하지 않음
• 현재 접근은 motion capture 데이터에 크게 의존하므로, mocap 데이터가 부족한 새로운 동작에 대한 일반화 능력 제한
• Online graph search의 계산 복잡도가 skill 개수와 그래프 크기에 따라 증가할 수 있어, 매우 대규모 skill set에서의 실시간성 보장 필요
• 실제 배포에서의 여러 동시 perturbation이나 극한 상황 (예: 미끄러운 바닥)에 대한 robustness 추가 검증 필요
• 후속 연구로 sim-to-real transfer의 더 정교한 방법론과 meta-learning을 활용한 새로운 skill 빠른 적응 메커니즘 고려 가능

Evaluation

총평: Switch는 Skill Graph라는 단순하면서도 효과적인 구조와 online graph search 기반의 동적 재계획을 통해 humanoid robot의 skill switching 문제를 실용적으로 해결한 의미 있는 연구이며, 실제 로봇 플랫폼에서의 검증으로 높은 적용 가치를 보여준다.