RationalVLA: A Rational Vision-Language-Action Model with Dual System

Motivation

• Known: 기존 language-conditioned manipulation 작업은 지시가 환경과 완벽하게 정렬되어 있다고 가정하며, VLA 모델들은 fine-tuning 과정에서 언어 이해 능력의 catastrophic forgetting을 겪는다.
• Gap: 실제 로봇 배포 환경에서 모호하거나 실행 불가능한 지시를 처리하는 능력이 부족하며, 기존 벤치마크들이 이러한 defective instructions를 충분히 다루지 못하고 있다.
• Why: 로봇이 결함 있는 지시를 실행하면 환경 질서를 교란하고 장기 작업 실패를 초래할 수 있으므로, 실제 배포 시나리오에서 지시 거부 능력은 매우 중요하다.
• Approach: MLLM과 저수준 조작 정책을 learnable latent space embeddings으로 연결하는 dual-system 아키텍처를 제안하며, 토큰으로 행동 생성, 토큰으로 결함 지시 거부를 수행한다.

Achievement

Fig. 1.

• RAMA 벤치마크 구축: visual, physical, semantic, motion, safety, out-of-context 6가지 차원의 결함 있는 지시를 포함한 14,000개 이상의 샘플로 구성된 데이터셋 제시
• 성능 향상: RAMA 벤치마크에서 기존 baseline 대비 14.5% 높은 성공률과 0.94의 평균 작업 길이 달성
• 실세계 검증: 실제 로봇 시험에서 제안 모델의 효과성과 견고성을 입증
• 표준 작업 유지: 일반적인 조작 작업에서도 경쟁력 있는 성능 유지

How

• Dual-system 아키텍처로 MLLM(고수준 추론)과 로봇 정책(저수준 제어) 통합
• Learnable latent space embeddings을 인터페이스로 사용하여 두 모듈 간 정보 전달
• 토큰을 학습하여 저수준 정책이 행동 생성하도록 지시
• 토큰을 학습하여 현재 관찰을 기반으로 결함 지시 거부
• End-to-end training manner로 두 모듈을 함께 최적화
• Hindsight data collection을 통한 defective instruction 데이터셋 구성

Originality

• 결함 있는 지시의 6가지 차원(visual, physical, semantic, motion, safety, out-of-context)을 체계적으로 정의한 최초의 시도
• 토큰 기반의 동적 지시 거부 메커니즘으로 기존 단순 거부 방식과 차별화
• Learnable latent space embeddings을 통한 새로운 dual-system 통합 방식으로 catastrophic forgetting과 복합 언어 이해 능력 결핍 문제 동시 해결
• RAMA 벤치마크와 데이터셋을 함께 제공하여 실제적인 평가 환경 조성

Limitation & Further Study

• 결함 지시의 6가지 차원이 모든 현실 시나리오를 완벽히 커버하는지에 대한 검증 필요
• Real-world 시험 규모가 제한적으로 보여 더 다양한 환경에서의 일반화 능력 평가 필요
• Computational complexity와 inference time에 대한 상세 분석 부족
• 다양한 로봇 플랫폼(humanoid, wheeled robot 등)에서의 확장 가능성 미검증
• 후속 연구는 더 많은 defective instruction 카테고리 발굴 및 다중 로봇 협력 상황에서의 성능 평가를 고려할 수 있음

Evaluation

총평: RationalVLA는 실제 로봇 배포에서 중요하지만 그동안 간과되었던 defective instruction 처리 능력을 체계적으로 다루는 혁신적인 작업이며, RAMA 벤치마크와 dual-system 아키텍처의 조합으로 언어 이해와 조작 능력을 효과적으로 통합한 우수한 연구이다.