Humanoid Policy ~ Human Policy

Motivation

• Known: Robot manipulation 학습은 large-scale robot data를 통해 인상적인 성과를 이루었으나, 실제 로봇 데이터 수집은 매우 비용이 크고 확장이 어렵다는 것이 알려져 있다. Cross-embodiment 학습과 affordance 또는 object keypoint 같은 중간 표현을 통한 human video 활용이 기존 접근법이었다.
• Gap: 기존 human data 활용 방식은 affordance나 object keypoint 같은 modular 중간 표현에 의존하거나, HumanPlus처럼 여전히 robot hardware를 요구하여 데이터 수집 효율이 낮다. End-to-end 방식으로 대규모 human data를 직접 활용하면서 robot deployment까지 가능한 unified framework이 부재했다.
• Why: Humanoid robot 조작 학습의 scalability는 중요한 문제이다. Consumer-grade VR 장비를 활용하여 대규모 task-oriented human data를 수집할 수 있다면, 로봇 데이터 수집 없이도 정책 학습이 가능해진다. 이는 robot learning의 데이터 병목을 상당히 완화할 수 있는 잠재력이 있다.
• Approach: PH2D 데이터셋은 consumer-grade VR 장비의 hand tracking과 egocentric 카메라를 활용하여 task-oriented human demonstration을 대규모로 수집한다. Human Action Transformer (HAT)는 human과 humanoid 양쪽 embodiment에 대해 unified state-action space를 설계하고, hand pose 기반 representation을 differentiably retarget하여 robot action으로 변환한다.

Achievement

Figure 1: This paper advocates high-quality human data as a data source for cross-embodiment

• PH2D 데이터셋: 26,824개 human demo (약 3.02M 프레임)와 1,552개 robot demo (약 668k 프레임)로 구성된 대규모 task-oriented egocentric dataset 제시 - HAT 정책: Human과 humanoid를 별도 supervision 없이 unified representation에서 직접 모델링하는 end-to-end 정책 제안 - 성능 개선: Human data co-training으로 generalization과 robustness 향상 및 데이터 수집 효율 우수성 검증

How

Figure 3: Overview of HAT. Human Action Transformer (HAT) learns a robot policy by modeling

• Consumer-grade VR 장비(Meta Quest Pro)로 3D hand-finger pose와 egocentric video 자동 수집
• Unified state-action space: human hand pose를 robot hand reference frame으로 표현하여 직접 비교 가능하게 설계
• Differentiable retargeting: hand pose에서 inverse kinematics와 hand retargeting으로 robot joint action 도출
• Co-training: 소규모 robot data와 대규모 human data를 함께 학습하여 embodiment gap 완화

Originality

• Unified representation 설계: Human과 robot을 별도 supervision 없이 동일 state-action space에서 모델링하는 접근은 기존 affordance 또는 keypoint 기반 중간 표현과 상이함
• VR 장비 활용: Consumer-grade VR를 통한 정확한 3D hand pose 자동 수집으로 specialized hardware(glove) 불필요
• End-to-end deployment: Modular perception pipeline 없이 robot deployment까지 가능한 설계

Limitation & Further Study

• 평가가 특정 manipulation task 범주(pick-and-place, assembly 등)에 제한되어, 더 복잡한 dexterous task에 대한 확장성 미검증
• Human demo의 motion diversity가 실제 humanoid 로봇의 제어 능력을 완전히 반영하지 못할 수 있음
• Inverse kinematics와 retargeting 단계에서의 근사 오류 분석 부재
• 후속 연구 방향: (1) 더 복잡한 dexterous task로의 확장, (2) 다양한 humanoid 플랫폼(Boston Dynamics Atlas 등)으로의 일반화 검증, (3) Real-time performance와 latency 분석

Evaluation

총평: 이 논문은 humanoid robot manipulation 학습을 위해 대규모 human data를 효율적으로 활용하는 실용적이고 창의적인 방안을 제시한다. PH2D 데이터셋의 규모와 품질, HAT의 unified design, 그리고 실로봇 검증이 기여도 있으나, 평가 범위 확장과 다양한 플랫폼으로의 일반화 검증이 필요하다.