Learning Humanoid Locomotion with Perceptive Internal Model

Essence

Fig. 1: We propose a perceptive humanoid locomotion policy capable of mastering various challenging terrains. This polic

본 논문은 휴머노이드 로봇의 불안정한 형태학적 특성으로 인해 필수적인 지각 정보를 효과적으로 통합하기 위해 Perceptive Internal Model (PIM)을 제안한다. 로봇 중심의 elevation map을 기반으로 하는 이 방법은 깊이 맵이나 포인트 클라우드 직접 인코딩과 달리 시뮬레이션에서 최소한의 계산 비용으로 3시간 내에 정책 학습을 완료할 수 있다.

Motivation

Known: 기존 사족보행 로봇의 경우 고유감각 정보만으로도 다양한 지형 네비게이션이 가능한 반면, 휴머노이드 로봇은 높은 자유도와 고유의 불안정한 형태로 인해 지각 정보 통합이 필수적이다. 기존의 다단계 훈련이나 사전 동작 궤적에 의존하는 방법들은 계산 비용이 높고 계단 등 세밀한 발판이 필요한 지형에서 부족한 성능을 보여왔다.
Gap: 기존 perceptual 방법들은 깊이 맵이나 포인트 클라우드를 직접 인코딩하거나 다단계 훈련 절차가 필요했으며, 시뮬레이션과 실제 로봇 간의 인식 간극을 줄이기 위해 추가적인 노이즈 시뮬레이션이 필요했다. 이러한 방식들은 계산 비용이 높고 카메라 움직임이나 센서 노이즈에 취약하다는 한계가 있었다.
Why: 휴머노이드 로봇의 높은 자유도와 고유의 불안정성으로 인해 단순 고유감각 기반 정책으로는 복잡한 지형 네비게이션이 불가능하며, 효율적이고 견고한 지각 통합 방법은 휴머노이드 제어의 근본적인 알고리즘으로서 중요한 가치를 갖는다.
Approach: Hybrid Internal Model (HIM)을 기반으로 하여, 지형의 높이 정보가 포함된 elevation map을 추가 관측값으로 사용한다. 시뮬레이션에서는 지표면 참값 높이를 이용하여 정책을 훈련하고, 실제 환경에서는 LiDAR 또는 RGB-D 카메라로 구성한 elevation map에서 높이를 샘플링하여 추론한다. 이는 PPO 알고리즘으로 최적화되며 배치 수준의 대조 학습을 통해 향상된 상태 추정을 제공한다.

Achievement

Fig. 2: Overview of our framework. Within PIM, we integrate perceptive information into the state predictor to achieve m

다양한 지형 네비게이션: Unitree H1, Fourier GR-1 등 여러 휴머노이드 로봇에서 계단, 간격, 높은 플랫폼 등 다양한 도전적 지형 주행 성공
계단 연속 등반: 90% 이상의 성공률로 계단을 연속으로 등반 가능
효율적 훈련: RTX 4090 GPU에서 3시간 내 단일 단계 훈련으로 sim2real 전이 가능
센서 다양성 지원: Mid-360 LiDAR, RealSense D435+T265 카메라 등 다양한 센서 구성에 대응
견고성: 카메라 움직임과 센서 노이즈에 덜 민감한 특성

How

Fig. 3: Terrian Perception module implemented by a single

HIM 기반의 배치 수준 대조 학습으로 속도 예측과 잠재 공간에서의 상태 예측 수행
로봇 중심 좌표계의 로컬 elevation map을 지속적으로 업데이트하여 지형 인식
시뮬레이션에서 그라운드 트루 높이로 정책 훈련하고 실제 환경에서는 구성된 elevation map에서 높이 샘플링
Critic 네트워크는 훈련 중 특권 정보(선형 속도)에 접근 가능하여 더 정확한 가치 추정 제공
PPO 최적화로 정책 개선

Originality

Elevation map 기반의 지각 정보 통합 방식은 기존의 깊이 맵/포인트 클라우드 직접 인코딩과 본질적으로 다름
HIM의 배치 수준 대조 학습을 활용하여 추가 훈련 단계 없이 지각-고유감각 통합 달성
깊이 맵 렌더링 필요 제거로 시뮬레이션 계산 비용 최소화
로봇 중심 elevation map으로 카메라 움직임과 노이즈 강건성 향상

Limitation & Further Study

현재까지 제시된 실험은 주로 시뮬레이션과 제한된 실제 환경에서의 검증에 국한됨
Elevation map 구성을 위한 LiDAR 또는 RGB-D 카메라의 가용성이 필요하며, 다른 센서 모달리티에 대한 확장성이 미검증됨
극도로 험한 지형(예: 매우 높은 장애물, 좁은 통로)에서의 성능은 제한적일 수 있음
실제 환경에서의 지장 맵 구성 오류나 센서 오류가 정책 성능에 미치는 영향에 대한 상세 분석 부재

후속 연구 방향:

다양한 센서 모달리티(stereo vision, event camera 등)에 대한 확장
극도로 복잡한 동적 환경에서의 성능 검증
실시간 elevation map 업데이트의 계산 복잡도 최적화
전이 학습을 통한 새로운 로봇 플랫폼으로의 일반화 효율성 개선

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 로봇 중심 elevation map 기반 지각 정보 통합을 통해 휴머노이드 로봇의 안정적인 복잡 지형 주행을 실현하는 실질적이고 효율적인 방법을 제시한다. 단일 단계 훈련으로 우수한 성능을 달성하며 다양한 로봇 플랫폼에 검증된 점이 강점이나, 실제 환경 적용 시 elevation map 구성 오류에 대한 견고성 분석이 보완되면 더욱 완성도 있는 연구가 될 것이다.