VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes

Motivation

• Known: Vision-language-action(VLA) 정책은 로봇 학습의 유망한 패러다임으로 자리잡았고, 최근 humanoid 도메인으로 확장되고 있다. 또한 3DGS 기반 장면 재구성과 시뮬레이션에서 학습한 whole-body motion tracking이 각각 real2sim, sim2real 문제에서 부분적 해법을 제공하고 있다.
• Gap: Perception 기반 humanoid loco-manipulation 학습에는 동기화된 egocentric 이미지, 언어 명령, 로봇 호환 kinematic 궤적의 완전한 튜플이 필요하지만, teleoperation 데이터, motion capture 데이터셋, egocentric video 데이터셋 중 어느 것도 이 세 요소를 동시에 대규모로 제공하지 못한다.
• Why: 전신 teleoperation 데이터 수집은 다양한 장면·물체·상호작용에 대해 확장하기 어렵고 비용이 크기 때문에, 인간 개입 없이 대규모 VLK 페어 데이터를 합성적으로 생성할 수 있다면 humanoid loco-manipulation 정책 학습의 데이터 병목을 근본적으로 해결할 수 있어 중요하다.
• Approach: 3DGS로 재구성한 metric-scale 실내 환경에서 특권 씬 정보(물체 pose, 충돌 geometry, walkable region)를 이용해 navigation 및 object-interaction 궤적을 합성한 뒤, 사후에 egocentric RGB 관측을 렌더링하여 vision-language-kinematics 튜플을 생성하고, 이를 이용해 short-horizon whole-body kinematic 궤적과 wrist-object contact label을 예측하는 VLK 정책을 학습한다.

Achievement

Figure 1:

1. 대규모 무개입 VLK 데이터 생성: 600 GPU-hour 내에 48,000개의 synchronized egocentric 이미지-언어 명령-G1 kinematic 궤적 튜플을 인간 개입 없이 생성했다.
2. 실물 로봇 실환경 배포 검증: Unitree G1 physical robot에서 navigation과 single-object transport 태스크에 대해 sim-to-real 전이를 성공적으로 시연했다.
3. contact-aware whole-body tracking과의 결합: 예측된 kinematic 궤적과 binary wrist-object contact label을 whole-body tracker에 전달하여 실제 로봇 행동으로 변환하는 파이프라인을 구축했다.
4. long-horizon 행동 체이닝: atomic prompt-conditioned skill들을 연쇄하여 pick-place-navigation으로 구성된 long-horizon 실환경 태스크 수행을 시연했다.

How

Figure 2: Method overview. Top: we reconstruct 3D scenes, generate task waypoints, synthe-

• Scene Reconstruction: 실내 환경을 촬영한 이미지로부터 3D Gaussian Splatting을 이용해 metric-scale 3DGS scene을 재구성한다.
• Waypoint Generation: 재구성된 씬의 특권 정보(물체 pose, 충돌 geometry, walkable region)를 활용해 task-relevant waypoint를 생성한다.
• Robot Motion Synthesis: SMPL 기반 human-object interaction synthesis 방법을 Unitree G1 kinematic representation에 맞게 적용하여 navigation 및 object-interaction 궤적을 합성한다.
• Egocentric View Rendering: 합성된 궤적을 따라 사후에 3DGS scene에서 egocentric RGB 이미지를 렌더링해 vision-language-kinematics 튜플을 완성한다.
• VLK Policy Training: egocentric image, task instruction, 현재 robot state를 입력으로 받아 short-horizon whole-body kinematic 궤적과 binary wrist-object contact label을 예측하는 정책을 학습한다.
• Whole-Body Tracking 및 배포: contact-aware whole-body tracker가 예측된 kinematics와 contact label을 이용해 physical G1에서 실행 가능한 action으로 변환한다.

Originality

• 기존 VLA 연구가 실제 teleoperation 데이터나 human video에 의존한 것과 달리, 3DGS 재구성 씬에서 특권 정보를 활용해 완전 합성된 vision-language-kinematics 페어 데이터를 생성하는 real-to-sim-to-real 파이프라인을 제안했다.
• 씬 재구성(Real2Sim)과 whole-body motion tracking(Sim2Real)이라는 각각 성숙해가는 두 기술을 "합성 상호작용 생성"이라는 missing link로 연결한 점이 독창적이다.
• human-object interaction motion synthesis 방법을 SMPL에서 Unitree G1 kinematic representation으로 적응시켜 humanoid의 object interaction 합성에 적용한 방식이 새롭다.
• wrist-object contact label을 kinematic state의 auxiliary 요소로 취급하여 tracker에 전달하는 설계가 실용적이다.

Limitation & Further Study

• 평가 태스크가 navigation과 single-object transport라는 비교적 단순한 두 범주에 한정되어 있어, 더 복잡한 multi-object, long-horizon, 정밀 조작 태스크로의 일반화는 검증되지 않았다.
• 합성 데이터가 3DGS로 재구성 가능한 특정 실내 장면들에 국한되어 있어, 렌더링 realism과 실제 카메라 sensor noise 간의 domain gap이 완전히 해소되었는지 불명확하다.
• 특권 정보(물체 pose, walkable region 등)에 의존한 waypoint 생성이 실제 배포 환경에서 자동으로 얻기 어려운 정보에 의존할 가능성이 있어 확장성에 제약이 있을 수 있다.
• 후속 연구로 더 다양한 물체 종류, 복잡한 다단계 조작, 동적 장애물이 있는 환경으로의 확장이 필요해 보인다.

Evaluation

총평: humanoid loco-manipulation 학습의 근본적 데이터 병목을 3DGS 재구성 씬 기반 합성 데이터 생성으로 해결하려는 시도가 실용적이고 시의적절하며, physical G1 실환경 검증을 통해 접근법의 실효성을 뒷받침한다.