ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video

Motivation

• Known: 휴머노이드 전신 제어 기술은 단일 참조 모션 추적에서 성숙 단계에 도달했으나, 기존 방법들은 경직된 이동 패턴에 제한되거나 비싼 원격조종 데이터 수집에 의존한다.
• Gap: 실세계 환경 인식이 필요한 자연스러운 휴머노이드 제어, 특히 앉기, 차기 같은 인간다운 행동을 로봇 원격조종 데이터 없이 구현하는 방법이 부족하다.
• Why: 원격조종 데이터 수집은 비용이 크고 시간이 오래 걸리므로, 인간 영상 데이터를 활용하여 확장 가능하고 자연스러운 로봇 제어를 실현하는 것이 중요하다.
• Approach: VQ-VAE로 인간 모션을 토큰화한 후 Vision-Language Model을 미세조정하여 텍스트 지시와 일인칭 시각 정보로부터 미래 모션을 생성하고, 생성된 모션을 로봇 관절로 재타겟팅하여 일반 모션 추적 정책으로 실행한다.

Achievement

Fig. 1: Overview of the ZeroWBC framework. We propose a novel framework that learns natural humanoid visuomotor control

• 원격조종 데이터 불필요: 인간 일인칭 영상과 MoCap 데이터만으로 학습하여 로봇 데이터 수집 오버헤드를 완전히 제거
• 자연스러운 전신 제어: 차기, 앉기, 장애물 회피 등 다양한 장면 상호작용을 인간다운 모션으로 실행
• 높은 일반화 성능: Unitree G1 로봇에서 기존 방법 대비 모션 자연성과 다양성에서 우수한 성능 달성
• 두 단계 통합 아키텍처: 모션 생성과 추적을 체계적으로 통합한 확장 가능한 파이프라인 구성

How

Fig. 3: Detailed architecture of ZeroWBC. The framework operates in two stages: (a) Multimodal Motion Generation: We

• VQ-VAE를 이용한 연속 인간 모션의 이산 토큰 인코딩
• 대규모 텍스트-이미지-모션 데이터셋으로 Vision-Language Model 미세조정
• 생성된 인간 모션을 로봇 관절 공간으로 재타겟팅 (retargeting)
• MoCap 데이터로 사전학습된 일반 모션 추적 정책으로 추적 실행
• Unitree G1 로봇에서 다양한 장면 상호작용 작업으로 검증

Originality

• 인간 일인칭 영상과 MoCap 데이터를 결합한 첫 번째 휴머노이드 제어 프레임워크
• 모션 생성 단계에서 egocentric visual context 조건화를 도입
• 원격조종 없이 실세계 장면 상호작용을 실현하는 새로운 패러다임 제시
• 두 단계 구조 (생성→추적)를 통한 모듈화된 설계로 각 단계의 독립적 최적화 가능

Limitation & Further Study

• 현재 일인칭 시각 기반이므로 제3자 시점에서의 제어는 미지원
• VQ-VAE 토큰화 과정에서 고주파 모션 디테일 손실 가능성
• 재타겟팅 단계에서 인간-로봇 신체 비율 차이로 인한 부자연스러움 가능성
• 실세계 다양한 로봇 플랫폼에 대한 일반화 성능 검증 필요
• 동적 환경에서의 실시간 모션 생성 지연 시간 미분석

Evaluation

총평: ZeroWBC는 휴머노이드 로봇의 원격조종 데이터 수집 문제를 근본적으로 해결하며, 인간 영상 데이터로부터 자연스럽고 다양한 전신 제어를 구현하는 혁신적인 프레임워크이다. 강력한 실험 검증과 실제 로봇 성공사례는 제시되어 있으나, 추가 플랫폼 일반화와 동적 환경 적응성에 대한 평가가 향후 필요하다.