Learning Versatile Humanoid Manipulation with Touch Dreaming

Motivation

• Known: 휴머노이드 로봇의 전신 제어와 텔레오퍼레이션 기술이 발전했으며, 행동 복제를 통한 학습 방식도 제안되었다. 그러나 기존 시스템들은 전신 안정성, 손가락 민첩성, 터치 센싱을 동시에 통합하지 못했다.
• Gap: 접촉-풍부한 조작에서 터치를 핵심 모달리티로 모델링하면서 단일 단계의 행동 복제로 훈련되는 전신 휴머노이드 정책이 부재하다. 기존 터치 학습 방식들은 별도의 사전훈련, 명시적 월드 모델, 다단계 추론을 요구한다.
• Why: 접촉은 미끄러짐, 잼, 균형 상실을 방지하는 데 필수적이며, 접촉이 자주 변하는 조작 작업에서 순수 비전과 고유감각만으로는 부족하기 때문이다.
• Approach: RL 기반 전신 제어기와 VR 텔레오퍼레이션을 통합한 데이터 수집 시스템을 구축하고, 비전, 고유감각과 함께 터치를 모달리티로 하는 multimodal encoder–decoder Transformer를 제안한다. Touch Dreaming 기법으로 미래 손-관절 힘과 미래 터치 잠재 표현을 예측하도록 훈련한다.

Achievement

Fig. 1: Our system enables versatile, contact-rich, and dexterous humanoid manipulation. A: long-horizon, multi-stage ma

• 통합 하드웨어 시스템: RL 기반 전신 제어기, VR 텔레오퍼레이션, 분산형 터치 센싱을 결합한 완전한 휴머노이드 조작 시스템 개발
• HTD 모델: 비전, 고유감각, 터치를 multimodal로 처리하는 encoder–decoder Transformer로 Touch Dreaming을 통한 단일 단계 훈련 실현
• 강력한 성능: 다섯 가지 접촉-풍부한 실제 작업에서 기준선 대비 평균 성공률 90.9% 상대 개선
• 잠재 공간 터치 예측의 우월성: 원본 터치 예측 대비 잠재 공간 터치 예측이 성공률 30% 상대 향상 제시

How

Fig. 4: HTD model architecture. HTD is a modular encoder–decoder Transformer. Left: modality tokenizers encode multi-vie

• RL 기반 whole-body controller로 복잡한 조작 중 안정적인 하체 및 몸통 실행 보장
• VR 텔레오퍼레이션과 human-to-humanoid motion mapping을 결합한 효율적인 실세계 데시 수집
• Multimodal encoder–decoder Transformer 아키텍처로 터치를 비전, 고유감각과 동등하게 처리
• Exponential Moving Average (EMA) target encoder를 사용한 안정적인 잠재 공간 지도학습
• 행동 예측 외에 미래 손-관절 힘과 미래 터치 잠재 예측을 auxiliary objective로 추가하여 접촉-인식 표현 학습 유도
• Insert-T, Book Organization, Towel Folding, Cat Litter Scooping, Tea Serving의 다섯 가지 작업으로 평가

Originality

• 터치를 단순 보조 신호가 아닌 비전, 고유감각과 동등한 핵심 모달리티로 설계
• 별도의 사전훈련이나 명시적 월드 모델 없이 Touch Dreaming을 auxiliary objective로 통합한 단일 단계 훈련 프레임워크
• EMA target encoder를 통한 잠재 공간 터치 예측으로 I-JEPA, V-JEPA와 유사한 predictive latent learning 원칙을 터치-중심 휴머노이드 정책에 적용
• 전신 안정성, 완전한 손가락 민첩성, 터치 센싱과 모델링을 모두 통합한 첫 휴머노이드 시스템

Limitation & Further Study

• 다섯 가지 작업으로 평가되었으므로 더 광범위한 작업 유형으로의 일반화 가능성 미지수
• 데이터 수집이 VR 텔레오퍼레이션을 요구하므로 확장성 제한 가능성
• 터치 센서의 노이즈, 고장, 센서 특성 차이에 대한 강건성 분석 부족
• 다양한 터치 센서 타입(e.g., capacitive, optical)에 대한 적응성 미검증
• 후속 연구: 자가-지도 학습이나 시뮬레이션을 통한 데이터 수집 효율화, 터치 센서 고장 대응, 다양한 휴머노이드 플랫폼으로의 이전 학습

Evaluation

총평: 본 논문은 터치를 핵심 모달리티로 하는 Touch Dreaming 기법과 통합된 실세계 데이터 수집 시스템으로 휴머노이드 접촉-풍부한 조작의 실현 가능성을 강력하게 입증한다. 다섯 가지 다양한 실제 작업에서 90.9% 성능 개선을 달성하며, 잠재 공간 예측의 효과성을 명확히 보여주는 높은 질의 연구이다.