Being-H0.7: A Latent World-Action Model from Egocentric Videos

Essence

Figure 2: Latent reasoning and latent world-action model. Left: Learnable latent queries are inserted

이 논문은 egocentric video로부터 학습된 latent world-action model인 Being-H0.7을 제시한다. 행동 생성 사이에 학습 가능한 latent query를 추론 인터페이스로 도입하고, future-informed dual-branch 설계를 통해 미래 프레임 생성 없이 세계 모델의 예측 능력을 VLA의 효율성과 결합한다.

Motivation

Known: 기존 VLA 모델들은 풍부한 관찰에 비해 희소한 행동 감시로 인해 dynamics와 contact 같은 중간 표현을 학습하기보다 시각적 단서에서 행동으로의 지름길을 학습하는 경향이 있다. WAM(world-action model)은 비디오 롤아웃을 통해 미래 예측을 도입했으나 픽셀 공간 예측은 훈련/추론 비용이 크고 제어와 관련 없는 시각적 세부 정보를 모델링하는 문제가 있다.
Gap: 기존 접근은 미래 정보를 픽셀 공간에서 명시적으로 예측하려 하지만, 실제 조작 작업은 compact하고 행동 관련 신호(contact, 물체 운동, affordance 등)만 필요하다. 따라서 픽셀 레벨 예측의 중복성을 피하면서도 동역학과 affordance를 포착할 수 있는 latent 공간에서의 future-aware 학습 방법이 필요하다.
Why: 미래 정보는 정책의 내부 추론을 형성해야 하지만 픽셀로 재구성될 필요는 없다. latent world-action model은 직접 행동 예측의 배포 가능성을 유지하면서 명시적인 잠재 추론 공간을 도입하여 미래 인식, 행동 유용한 구조를 조직할 수 있다.
Approach: Being-H0.7은 지각과 행동 사이에 학습 가능한 latent query 세트를 도입한다. prior branch에서는 현재 multimodal 문맥에서 행동 유용한 예측 인자를 추론하고, posterior branch에서는 이 query를 후속 관찰의 임베딩으로 대체하여 미래 정보의 implicit training target을 제공한다. 두 branch의 숨겨진 상태를 latent 추론 위치에서 정렬함으로써 prior query가 현재 문맥만으로도 후속 관찰과 유사한 추론을 하도록 학습된다.

Achievement

Figure 3: Being-H0.7 Architecture. We pack the prior and posterior branches into a single MoT sequence

시뮬레이션 성능: 6개 벤치마크(LIBERO, LIBERO Plus, RoboTwin 2.0, RoboCasa, CALVIN ABC, CALVIN ABCD)에서 최첨단 또는 동등한 성능 달성. 실제 로봇 작업: 3개 로봇 플랫폼에서 12개 도전적 작업(빠른 굴러오는 공 잡기, 움직이는 용기에 붓기, 옷 접기, 컨베이어에서 패키지 분류, 못 박기 등) 평가에서 5개 능력 지향 스위트 모두 최고 성능. 배포 효율성: 3-4 ms/step 체제에서 동작하며 test-time future generation 부담 없음.

How

Figure 3: Being-H0.7 Architecture. We pack the prior and posterior branches into a single MoT sequence

• Learnable latent query를 perception과 action 사이 명시적 추론 인터페이스로 도입

• Future-informed dual-branch 설계: prior branch는 현재 문맥에서 latent 상태 추론, posterior branch는 학습 중에만 사용되며 미래 관찰 임베딩으로 query 대체

• Dual-branch 정렬을 통해 prior query가 future-aware, action-useful 구조 학습

• Norm과 rank 제약을 통한 정칙화로 latent 상태 collapse 방지

• Mixture-of-Transformers 시퀀스로 dual-branch 구현하여 효율적 문맥 공유

• Latency-aware universal asynchronous chunking(UAC)으로 배포 최적화

Originality

• World-action modeling을 latent 공간으로 재정의하여 픽셀 공간 예측의 비효율성 해결 (기존은 WAM이 비디오 생성에 의존)

• Future-informed dual-branch 설계로 test-time에는 posterior branch 제거 가능 (training-only privileged supervision)

• Learnable latent query를 명시적 추론 인터페이스로 도입 (기존 VLA는 이러한 명시적 구조 없음)

• Hidden-state alignment과 가벼운 정칙화로 stable하고 scalable한 latent 학습 달성

Limitation & Further Study

• Posterior branch 설계의 정당성: 왜 posterior embedding이 정확히 행동에 유용한 정보를 포함하는지 명확한 이론적 설명 부족. 단순히 future observation의 임베딩이 미래 관련 정보를 담보하는지 불명확.

• Latent query의 수와 dimensionality 선택 기준 미명시: ablation study를 통해 이들 하이퍼파라미터가 성능과 배포 효율성에 미치는 영향을 더 상세히 분석 필요.

• Generalization 평가의 제한: 실제 로봇 작업이 12개로 제한적이며, 매우 다양한 domain shift나 zero-shot generalization 시나리오에서의 성능 부족.

• 계산 오버헤드 상세 분석 부족: prior와 posterior branch 동시 학습 시 메모리와 계산 비용 상세 분석 필요. 배포 효율성 주장이 주로 latency 기준.

• 후속 연구: 더 큰 모델 스케일에서의 성능, 더 다양한 로봇 embodiment, 극단적 미래 예측 거리에서의 안정성 개선 필요.

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: Being-H0.7은 world-action modeling을 latent 공간으로 재정의하여 미래 예측의 이득을 유지하면서도 픽셀 생성의 비효율성을 제거한 강력한 기여를 한다. Future-informed dual-branch 설계와 latent query 기반 인터페이스는 창의적이고 효과적이며, 광범위한 시뮬레이션 및 실제 로봇 평가에서 일관된 성능 향상을 입증한다. 다만 posterior branch의 정당성, latent 구조의 이론적 근거, 그리고 일부 하이퍼파라미터 선택의 명확화가 필요하다.