LiPS: Large-Scale Humanoid Robot Reinforcement Learning with Parallel-Series Structures

Motivation

• Known: IsaacGym 등 GPU 기반 시뮬레이터가 대규모 병렬 강화학습 훈련을 가능하게 하며, 휴머노이드 로봇은 복잡한 직렬-병렬 메커니즘을 포함한다. 현재 대부분의 방법은 훈련 중 개루프 토폴로지를 사용하고 sim2real 단계에서 직렬-병렬 구조로 변환한다.
• Gap: 현재 GPU 기반 물리 엔진들은 폐루프 토폴로지나 복잡한 멀티-리지드바디 구조 시뮬레이션 능력이 제한되어 있으며, URDF 형식은 병렬 구조의 동적 특성을 정확히 표현하지 못한다.
• Why: 휴머노이드 로봇의 복잡한 동역학을 훈련 단계에서 정확히 시뮬레이션할 수 있으면 훈련 효율을 높이고 sim2real 격차를 줄여 실제 배포 시 성능을 향상시킬 수 있다.
• Approach: LiPS는 URDF 기반 시뮬레이션 환경에서 멀티-리지드바디 폐루프 동역학 모델링을 최적화하여 훈련 중부터 병렬 구조를 정확히 표현하고, 이를 통해 sim2real 변환 난이도를 감소시킨다.

Achievement

Fig. 4: Illustration of LiPS Simulation Training and Real-World Deployment Process.

• 대규모 병렬 훈련 지원: URDF 기반 복잡한 로봇의 GPU 병렬 강화학습 훈련을 효과적으로 지원하는 도구 제공
• sim2real 격차 감소: 훈련 단계에서 동역학을 정확히 모델링하여 현실 배포 시 성능 저하 최소화
• 훈련 및 추론 효율 향상: 복잡한 동적 거동을 시뮬레이션하여 실제 로봇 배포 시 계산 부하와 오류 감소
• 일반화 가능성: URDF 기반 다양한 로봇에 쉽게 적용 가능한 범용 방법론 제시

How

Fig. 3: Schematic Diagram of Ankle Dynamics Modeling

• URDF 모델 파일 형식의 기하학적 특성에 동적 특성을 추가로 모델링
• 멀티-리지드바디 폐루프 동역학을 GPU 기반 IsaacGym 환경에 통합
• 훈련 중 병렬-직렬 구조를 직접 시뮬레이션하여 개루프 토폴로지 대신 사용
• 발목 메커니즘 등 복잡한 병렬 구조의 동역학을 정확히 모델링 (Fig. 3 참조)
• 시뮬레이션 훈련 정책을 실제 로봇에 직접 배포 가능하도록 설계

Originality

• GPU 기반 대규모 병렬 훈련 환경에서 폐루프 멀티-리지드바디 동역학을 처음으로 효과적으로 모델링
• 기존 개루프 훈련 패러다임의 한계를 극복하고 훈련 단계에서 실제 로봇 구조를 반영하는 새로운 접근
• URDF 형식의 제약을 유지하면서 동적 특성을 추가하는 창의적인 솔루션
• sim2real 변환의 난이도를 근본적으로 해결하는 혁신적 방법론

Limitation & Further Study

• 현재까지 IsaacGym 기반 구현만 제시되었으며, 다른 GPU 물리 엔진(PyBullet 등)으로의 확장 검증 부족
• URDF 형식 자체의 표현 능력 한계로 인한 극도로 복잡한 병렬 구조에서의 정확도 미검증
• IsaacLab 등 신규 시뮬레이션 플랫폼으로의 적용 가능성 미제시
• 다양한 휴머노이드 로봇 설계(Tesla Optimus, Boston Dynamics 등)에 대한 광범위한 실증 데이터 부족
• 후속 연구: 실제 하드웨어 배포 시 성능 검증, 다양한 병렬 메커니즘 설계에 대한 일반화 연구, 계산 비용 최적화 방안 개발

Evaluation

총평: LiPS는 휴머노이드 로봇의 GPU 병렬 강화학습에서 sim2real 격차를 크게 줄이는 실질적이고 실용적인 방법으로, URDF 기반 복잡한 로봇 제어 연구에 중요한 기여를 한다. 다만 광범위한 실제 로봇 검증과 다양한 시뮬레이션 플랫폼으로의 확장 연구가 필요하다.