RationalVLA: A Rational Vision-Language-Action Model with Dual System

Motivation

Known: 기존 language-conditioned manipulation 작업은 지시가 환경과 완벽하게 정렬되어 있다고 가정하며, VLA 모델들은 fine-tuning 과정에서 언어 이해 능력의 catastrophic forgetting을 겪는다.
Gap: 실제 로봇 배포 환경에서 모호하거나 실행 불가능한 지시를 처리하는 능력이 부족하며, 기존 벤치마크들이 이러한 defective instructions를 충분히 다루지 못하고 있다.
Why: 로봇이 결함 있는 지시를 실행하면 환경 질서를 교란하고 장기 작업 실패를 초래할 수 있으므로, 실제 배포 시나리오에서 지시 거부 능력은 매우 중요하다.
Approach: MLLM과 저수준 조작 정책을 learnable latent space embeddings으로 연결하는 dual-system 아키텍처를 제안하며, <ACT> 토큰으로 행동 생성, <REJ> 토큰으로 결함 지시 거부를 수행한다.

기반 연구RationalVLA는 실행 중 안정성, 제약 인식, 회복 등 신뢰성 있는 로봇 제어를 중시하여, DoReMi가 제시한 실패 감지·복구 프레임워크를 확장 적용한다.

기반 연구VLABench는 생성형 환경에서 언어 조건 정책을 벤치마킹 하는 측면에서 Genie로 생성된 다양한 virtual world 응용을 실제 평가로 확장합니다.

기반 연구LLM/VLM 로봇의 취약성 문제 진단이 RationalVLA의 결함 지시 거부 구조 설계 및 벤치마크 동기입니다.

기반 연구RationalVLA는 안전성과 합리성을 강화한 비전-언어-액션 모델로, Code-as-Monitor와 병행해 로봇의 안전 모니터링 및 정책 구현 측면의 확장 연구가 가능하다.

다른 접근RationalVLA는 두뇌 기반 추론 프레임워크로 언어-조작 통합을 시도하므로, CALVIN의 시뮬레이션 기반 평가와 대조해 다양한 조건부 정책 학습 메커니즘을 비교할 수 있습니다.

다른 접근RationalVLA 논문은 산업적 상황에서 복잡한 결정을 내릴 수 있는 이성적 VLA 구조를 제안하여 EIIR 프레임워크의 구현체로 참고할 수 있습니다.

다른 접근RationalVLA는 듀얼 기반의 의사결정 구조로 system-2 reasoning을 구현하기 때문에 Hume와 관련성이 높습니다.

다른 접근Fast-in-Slow 논문 역시 dual system(빠른 실행, 느린 검증)을 활용해 로봇 행동의 합리적 판단 및 안전 문제를 해결하는 대안적 모델을 제시합니다.

후속 연구RationalVLA가 LLM 기반 로봇의 결함 지시 거부와 안전성에 집중한다면, Jailbreaking LLM-Controlled Robots는 LLM 제어 로봇의 잠재적 위험성 및 해킹 문제를 분석한다.

반론/비판보안 취약점과는 달리 합리적이고 안전한 VLA 모델 설계 원리를 탐구하여 대비책 방향을 제시한다.

후속 연구RDT-1B 논문은 diffusion 기반 대규모 임체 조작 프레임워크를 소개함으로써, 모방학습 기반 덱스테러스 조작 정책 연구의 근간이 됩니다.

응용 사례결함 있는 지시 및 로봇 정책 안전성 문제에 대응하는 instruction augmentation 사례로 RationalVLA의 실제 적용성을 보여줍니다.