Learning Human-Intention Priors from Large-Scale Human Demonstrations for Robotic Manipulation

Motivation

• Known: Vision-language-action (VLA) 모델은 사전학습된 멀티모달 표현을 로봇 제어로 확장하려 노력해왔으나, 로봇 시연의 수집 비용과 희소성으로 확장이 제한되어 있다. 인간 영상으로부터 representation bridge를 추출하는 방법들이 제안되었으나, 장면 이해, 인간 모션, 로봇 구체성(embodiment)을 구분하는 핵심 문제가 남아있다.
• Gap: 기존 인간 시연 학습 방법들은 인간 영상과 로봇 행동을 단일 표현으로 통합하려 함으로써 인간 모션 사전을 덮어쓰거나 시각적·시점·물체·로봇 변화에 취약한 정책을 학습한다. 인간 시연을 로봇 행동의 "잡음 있는 대체물"이 아닌 "구조화된 조작 의도 증거"로 취급하면서 spatial grounding, 인간 의도 모델링, 로봇 특화 실현을 분리하는 계층적 접근이 부족하다.
• Why: 인간 영상은 로봇 시연보다 훨씬 풍부하고 다양한 조작 사전을 담고 있지만, 장면 변화, 카메라 모션, 임베디먼트 특화 제약이 얽혀 있다. 이들을 구조적으로 분리하면 인간 행동의 재사용 가능한 부분(spatial scaffold, hand motion coordination)을 보존하면서 로봇의 역학과 행동 규칙에 맞춘 제어를 학습할 수 있어 분포 변화에 강건한 정책을 실현할 수 있다.
• Approach: 1) HA-2.2M 데이터셋 구성: 이질적 인간 영상으로부터 coarse filtering (Gemini + V-JEPA 기반 분류기), spatial reconstruction, fine filtering을 통해 220만 행동-언어 에피소드 추출. 2) MoT-HRA 아키텍처: vision-language expert (embodiment-agnostic 3D 궤적 예측), intention expert (MANO 손 모션 사전 모델링), fine expert (로봇 행동 청크 변환)의 3단계 계층 구조. 3) Knowledge insulation: shared-attention trunk와 read-only key-value transfer로 하위 spatial/intention 표현 보호.

Achievement

Figure 2: Overview of MoT-HRA. Given an image, a language instruction, and chunk-sized query

HA-2.2M 데이터셋: 220만 에피소드의 대규모 이질 인간 시연 데이터셋으로 손 중심 필터링, 공간 재구성, 시간 분할, 언어 정렬을 적용. MoT-HRA 프레임워크: 계층적 vision-language-action 모델로 인간 의도 사전을 로봇 제어에 전이. 실험 검증: 손 모션 생성, SimplerEnv 시뮬레이션, 실제 로봇 조작 과제에서 MoT-HRA가 모션 타당성, spatial grounding, 분포 변화 하 제어 견고성을 향상.

How

Figure 2: Overview of MoT-HRA. Given an image, a language instruction, and chunk-sized query

• 데이터셋 큐레이션: Gemini와 V-JEPA 기반 분류기의 이단계 필터링으로 조작 관련 손 영상 확보, 이질적 웹/자아중심 영상 혼합
• 계층적 분해: vision-language, intention, fine 3단계 expert로 spatial/시간적 의도/로봇 특화 행동 분리
• Knowledge insulation: shared-attention trunk로 멀티모달 맥락 공급, read-only key-value transfer로 상위 표현 간섭 차단
• 3D 궤적 모델링: embodiment-agnostic 표현으로 로봇 간 전이 가능성 확보
• MANO 손 모션: 접촉 지향적 모터 선호와 시간 조율을 명시적으로 모델링

Originality

• 인간 시연을 "구조화된 의도 증거"로 프레이밍하여 기존의 단일 행동 표현 접근과 차별화
• HA-2.2M의 체계적 데이터 큐레이션 파이프라인 (coarse/fine filtering, spatial reconstruction) 제시
• Knowledge insulation 메커니즘으로 human prior 학습과 로봇 정책 학습 간 간섭 최소화
• MANO 기반 명시적 손 모션 모델링을 중간 의도 공간으로 활용하는 설계

Limitation & Further Study

• 데이터셋 한계: web video 필터링의 정확성에 의존하며, 조작이 없는 손 영상이나 잘못된 레이블이 여전히 존재 가능. - 평가 범위: SimplerEnv는 제한된 시뮬레이션 환경이고 실제 로봇 평가 결과가 제한적일 가능성. - 계산 비용: 3단계 expert와 MANO 모션 재구성의 연산 오버헤드 미논의. - 일반화 한계: 특정 손-객체 상호작용 패턴에 기반한 모델이 극단적으로 다른 환경에 적용될 때 성능 저하 가능성. 후속 연구: 더 강건한 자동 필터링 메커니즘, 다양한 로봇 플랫폼 검증, 계산 효율성 개선.

Evaluation

총평: 본 논문은 대규모 인간 시연으로부터 로봇 조작을 학습하는 실질적 도전에 대해 잘 정의된 계층적 접근을 제시한다. 220만 에피소드 HA-2.2M 데이터셋과 MoT-HRA의 knowledge insulation 설계는 인간 행동의 재사용 가능한 구조를 보존하면서 로봇 특화 제어를 학습하는 점에서 기여도가 있다. 다만 데이터셋 필터링 정확성, 실제 로봇 평가의 포괄성, 계산 효율성 분석이 강화될 필요가 있다.