HEFT: Heavy-Payload Full-size Humanoid Teleoperation with Privileged Motion Guidance and Windowed Payload Curriculum

Motivation

• Known: 기존 humanoid teleoperation 및 whole-body motion tracking 연구들은 example-guided imitation에서 reusable motion prior, general-purpose tracker로 발전해왔고, TWIST2나 SONIC 같은 시스템들이 VR 기반 데이터 수집과 broad motion tracking을 다루어왔다. 또한 payload-aware loco-manipulation을 위한 force-aware 방법들도 특정 task나 force curriculum 하에서 연구되어 왔다.
• Gap: 대부분의 기존 검증은 소형 platform이나 실제 payload interaction이 없는 상황에 국한되어 있어, full-size humanoid가 human-scale의 무거운 payload를 다루는 상황은 거의 탐구되지 않았다. 특히 commodity VR tracker의 noise·drift·retargeting error에 취약한 full-size robot의 tracking 문제와, 모션 구간마다 다른 payload 허용치를 다루는 문제는 기존 연구에서 다루어지지 않았다.
• Why: full-size humanoid는 human-scale 물체를 운반·조작하는 실용적 task에 적합하지만, 실제 배포 가능한 noisy VR 참조로부터 안정적으로 heavy-payload를 다루는 방법이 없다면 실세계 적용이 제한된다. 이 문제를 해결하면 teleoperation 기반 humanoid의 실용성과 데이터 수집 확장성이 크게 향상될 수 있다.
• Approach: HEFT는 배포 시 사용하는 raw VR reference와 학습 시에만 사용하는 물리적으로 그럴듯한 reconstructed reference를 함께 활용하는 PMG, 그리고 expert rollout으로 추정한 motion-window별 payload cap을 기반으로 payload를 커리큘럼 방식으로 샘플링하는 WPC를 결합해 단일 whole-body policy를 학습한다.

Achievement

Figure 5: Real-robot teleoperation tasks on L7 using the same policy. (a) Picking up a backpack

1. Privileged Motion Guidance (PMG): raw VR reference로부터 행동하면서도 reward, critic input, privileged encoding에는 offline reconstruction(diffusion 기반 RoHM 활용)된 cleaner motion을 활용하여 noisy online reference의 한계를 training-time에 보완했다.
2. Windowed Payload Curriculum (WPC): motion expert와 payload rollout을 이용해 짧은 motion window 단위로 payload 허용 한계를 추정하고, 이 cap 내에서 two-hand load를 샘플링함으로써 task-specific carrying controller 없이도 다양한 whole-body motion에서 payload robustness를 확보했다.
3. Full-size L7 실배포 검증: 175cm, 65kg, 29 actuated joints를 가진 L7 humanoid에 단일 policy로 turn, 전후진 보행, squat 등 다양한 동작을 최대 24kg payload 하에서 수행하는 것을 실증했다.

How

Figure 2: Method overview. (a) HEFT builds paired raw and reconstructed references from mocap

• 학습 데이터는 no-mirror SEED, 100STYLE, LaFAN1 등 대규모 mocap library와, raw VR-derived reference 및 대응하는 reconstructed reference로 구성된 소규모 paired VR set으로 구축된다.
• reconstruction은 diffusion 기반 human-motion denoiser(RoHM 기반)를 사용해 synthetic하게 손상된 AMASS motion으로 학습되어 VR 특유의 구조적 artifact(drift, latency, body-frame misalignment 등)를 정제한다.
• policy observation은 proprioception/action history(Sprop)와 raw VR reference stream(Sraw)으로 구성되며, 저수준 PD controller로 joint-position command를 tracking한다.
• training episode마다 reference motion과 windowed payload schedule Fwindow를 샘플링하고, 두 손목 link에 payload에 상응하는 외력을 시뮬레이션에서 가하되 policy에는 직접 관측되지 않도록 하여, cleaner target motion Sclean에 대해 reward를 계산하는 privileged critic 구조로 학습한다.
• WPC는 privileged motion expert의 payload rollout을 통해 window별 payload cap을 추정하고, 이 cap 내에서 smooth하게 two-hand load를 샘플링하는 커리큘럼을 적용한다.
• 최종적으로 actor는 raw reference와 proprioception만을 사용하고, critic과 latent adaptation은 clean reference, payload state, simulator 정보를 활용하는 privileged learning/distillation 구조로 훈련되어 실제 배포시에는 raw reference만으로 동작하는 controller를 얻는다.

Originality

• 기존 연구들이 clean offline reconstruction을 직접 online command로 사용하거나 raw reference만으로 학습하는 것과 달리, raw reference를 배포 입력으로 유지하면서 reconstructed reference를 privileged training signal로만 활용하는 PMG라는 새로운 결합 방식을 제시함.
• 특정 task/force curriculum에 국한된 기존 payload-aware control과 달리, motion window 단위로 payload feasibility가 다르다는 관찰에 기반해 expert-guided payload cap을 학습에 통합하는 WPC를 제안함으로써 broad whole-body reference library와 호환되는 payload curriculum을 설계함.
• 대부분의 humanoid teleoperation 연구가 소형 platform이나 payload 없는 조건에서 검증된 것과 달리, 175cm/65kg급 full-size humanoid에서 실제 최대 24kg payload를 단일 배포 가능 policy로 다루는 최초의 실증 사례를 제시함.

Limitation & Further Study

• 논문 발췌에는 정량적 성능 비교(성공률, tracking error 수치 등)와 baseline 대비 구체적 개선폭이 충분히 제시되지 않아 기술적 엄밀성 평가가 제한적임.
• WPC의 payload cap 추정이 특정 expert rollout 및 시뮬레이션 환경에 의존하므로, 다양한 로봇 morphology나 미지의 동작에 대한 일반화 가능성은 추가 검증이 필요함.
• 실제 환경에서의 장기적 안정성, 다양한 payload shape/무게중심 변화, 예측 불가능한 외란(사람과의 상호작용 등)에 대한 강건성은 추가로 연구될 필요가 있음.
• diffusion 기반 reconstruction의 latency 문제로 offline에서만 사용한다고 명시했으나, reconstruction 품질이 낮은 VR clip에 대한 실패 사례 분석이 부족함.

Evaluation

총평: full-size humanoid에서의 heavy-payload teleoperation이라는 실용적이면서도 그동안 소외되었던 문제를 PMG와 WPC라는 두 가지 명확한 아이디어로 체계적으로 풀어낸 견고한 연구로, 실제 로봇 배포까지 완료한 점에서 실질적 기여도가 높다.