Reinforcement Learning-Based Control for an Inline Skating Humanoid Robot

Motivation

• Known: 기존 연구는 quadrupedal robot의 passive wheel 기반 이동이나 actively driven wheel을 이용한 bipedal skating, 혹은 precomputed open-loop kinematic trajectory에 기반한 skateboarding/skating 제어에 국한되어 있었으며, RL 기반 humanoid 이동은 martial arts, table tennis, skateboarding 등 다양한 whole-body task에서 성과를 보여왔다.
• Gap: Passive inline skate는 co-linear wheel 배치로 인해 지지 다각형이 선형으로 좁아지고, 바퀴 축에 직접 토크를 가할 수 없어 edge angle을 통한 6-DoF 제어가 필요하며, 바퀴 encoder 부재로 인한 partial observability까지 겹쳐 극도로 불안정한 underactuated 문제인데, 이를 human motion data나 imitation learning, kinematic prior 없이 순수 RL 보상 구조만으로 해결한 사례가 없었다.
• Why: Skating 전략을 완전히 학습을 통해 emergent하게 얻어낼 수 있다면, 별도의 모션 캡처 데이터나 궤적 사전 설계 없이도 humanoid가 고속·고효율 이동이 가능해지며, inline hockey나 figure skating 같은 고난도 동적 도메인 참여나 보행-활주 간 모듈형 전환 플랫폼으로 확장될 잠재력이 크다.
• Approach: Massively parallelized simulation에서 spherical/ellipsoidal 두 가지 기하학적 바퀴 모델을 훈련·검증에 각각 활용하여 접촉 아티팩트를 회피하고, success 기반 command curriculum과 전용 rolling reward를 설계하여 RL 정책을 학습한 뒤 Booster T1 실제 하드웨어에 zero-shot으로 배포하였다.

Achievement

Fig. 1.

1. CoT 절감: 학습된 정책이 표준 walking gait 대비 최대 50%의 Cost of Transport 감소를 달성했다.
2. Zero-shot sim-to-real 전이: 시뮬레이션에서 학습한 정책이 별도 fine-tuning 없이 Booster T1 물리 로봇에 성공적으로 이전되었다.
3. 동적 균형 및 외란 거부: 실제 배포에서 능동적 물리적 외란(perturbation)에 대한 강건성과 동적 균형을 입증했다.
4. 고속 회전 등 민첩한 이동: 여러 바닥 표면에서 가속하며 회전하는 등 human-like stroking 및 propulsion·turning을 결합한 유동적 스케이팅 동작을 시연했다.
5. 하드웨어 통합: 커스텀 SLA 마운트를 이용해 소비자용 inline skate를 humanoid에 완전 수동(passive)으로 통합하는 하드웨어 수정을 완성했다.

How

Fig. 3.

• Booster T1(23-DoF humanoid)의 표준 발을 제거하고 소비자용 어린이 inline skate를 Formlabs Tough 1500 레진으로 제작한 custom SLA mount를 통해 heel joint에 결합
• 고급 bearing(ILQ-9 Twincam Pro)과 저압축성 wheel material(Hydrogen Street 60/92A)로 교체하여 마찰 손실 최소화
• 훈련 시에는 접촉 물리 시뮬레이션 안정성을 위해 spherical wheel 모델을, 검증 시에는 ellipsoidal wheel 모델을 사용하여 시뮬레이션 접촉 아티팩트로 인한 policy exploit을 방지
• Success 기반 command curriculum을 도입하여 점진적으로 난이도를 높이는 학습 스케줄 구성
• Kinematic wheel-rolling reward를 설계하여 gliding을 유도하고, 별도의 human motion data, imitation learning, kinematic prior 없이 보상만으로 skating 전략이 emergent하게 나타나도록 함
• 학습된 정책은 머리 액추에어터의 2-DoF를 제외한 legs(6-DoF)와 arms를 제어하여 균형 회복까지 담당

Originality

• 최초로 humanoid robot에 완전 passive consumer inline skate를 장착하여 인간과 유사한 emergent skating 전략을 RL만으로 학습한 시도
• 기존 quadrupedal이나 actively driven wheel 기반 연구와 달리 6-DoF skate edge 제어를 통한 dynamic edge-driven propulsion을 실현
• Human motion data, imitation learning, kinematic prior를 전혀 사용하지 않고 보상 구조만으로 skating gait를 emergent하게 학습
• 훈련·검증 단계에서 서로 다른 geometric wheel primitive(spherical vs ellipsoidal)를 사용하여 시뮬레이션 contact artifact를 우회하는 독창적 기법 제시
• Continuous-contact 제약을 완화하여 SKATER 등 동시대 연구와 달리 진정한 동적 propulsion을 학습

Limitation & Further Study

• 발췌된 내용상 정량적 실험 설계(관측 공간, 보상 함수 세부 수식, 훈련 하이퍼파라미터)에 대한 상세 설명이 부족하여 재현성 평가가 어려움
• Passive wheel의 encoder 부재로 인한 partial observability를 어떻게 정확히 추정하는지에 대한 구체적 알고리즘(상태 추정기)이 명확히 제시되지 않음
• 다양한 바닥 표면에서의 실험 결과가 언급되나 정량적 성공률, 실패 사례, 안전성 한계에 대한 논의가 부족해 보임
• 향후 연구로 modular skate 부착/탈착을 통한 walking-skating 멀티모달 전환, inline hockey/figure skating과 같은 복합 동적 task로의 확장 가능성 언급

Evaluation

총평: Passive inline skate를 장착한 humanoid의 RL 기반 6-DoF 동적 제어를 최초로 실현하고 zero-shot sim-to-real 전이까지 성공적으로 시연한 참신하고 의미 있는 연구이나, 상세 방법론 기술과 정량적 평가가 보강되면 더욱 완성도가 높아질 것으로 보인다.