TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies

Motivation

• Known: 대규모 로봇 데이터셋으로 사전학습된 VLA 모델은 다양한 조작 작업에 대해 일반화된 정책을 제공할 수 있다. 그러나 이들 모델은 현재 입력에만 반응하고 과거 움직임에 대한 인식이 부족하여 복잡한 조작 작업에서 효과적이지 못하다.
• Gap: VLA 모델이 시간적 동역학(temporal dynamics)과 공간적 동역학(spatial dynamics)을 충분히 이해하지 못하여 복잡한 조작 작업에서 성능이 제한된다. 과거 프레임을 단순히 연결하는 방식은 정보 중복성으로 인해 모델의 주의 집중을 방해한다.
• Why: 일반화된 로봇 정책 개발은 로봇이 다양한 환경과 작업에 적응할 수 있게 하므로 로봇 조작의 실용성을 크게 향상시킨다. 공간-시간 정보의 명시적 인코딩은 모델이 동적 환경에서 더 정확한 액션 예측을 수행하도록 돕는다.
• Approach: Co-Tracker를 사용하여 역사적 이미지 시퀀스에서 밀집 포인트 궤적을 추출하고, 이를 원본 관찰 이미지에 시각적으로 오버레이하여 visual trace를 생성한다. 이 visual trace와 원본 이미지를 separator token으로 구분하여 VLA 모델의 입력으로 제공한다.

Achievement

Figure 3: (Left): 7B TraceVLA vs. 7B OpenVLA. (Right): 4B TraceVLA-Phi3 vs. 4B OpenVLA-Phi3.

• SimplerEnv 성능: OpenVLA 대비 10% 향상된 성능을 137개 환경 설정에서 달성
• 실제 로봇 성능: WidowX 로봇 4가지 작업에서 OpenVLA 대비 3.5배 우수한 성능 입증
• 효율성: 4B Phi-3-Vision 기반 TraceVLA-Phi3 모델이 7B OpenVLA 수준의 성능을 달성하면서 추론 효율성을 크게 개선
• 일반화 능력: 다양한 로봇 구체화(embodiment)와 시나리오에서 견고한 일반화 성능 시연
• 데이터셋: 150K 로봇 조작 궤적 데이터셋 구성 및 공개

How

Figure 2: An illustration of visual trace generation. Given a sequence of historical image observations, we first

• Co-Tracker 알고리즘으로 시간 윈도우 N 범위 내의 역사적 이미지 시퀀스에서 K×K 그리드 기반 밀집 포인트 궤적 추출
• 유의미한 움직임을 보이는 활성 포인트 궤적(active point trajectories)을 필터링하여 선택
• 활성 궤적을 시각적 선/점으로 오버레이하여 원본 이미지 위에 visual trace 생성
• 원본 이미지와 visual trace 오버레이 이미지 두 개를 separator token으로 구분하여 연결
• 텍스트 명령어 토큰과 함께 VLA 모델의 vision tokenizer 및 text tokenizer에 입력
• OpenVLA 및 Phi-3-Vision 백본 모델 위에서 end-to-end fine-tuning 수행
• SimplerEnv 시뮬레이터와 물리적 WidowX 로봇에서 다양한 작업으로 평가

Originality

• Visual trace prompting의 단순성과 효과성: 기존의 프레임 연결 방식을 대체하는 우아한 대안으로, 2D 이미지만 사용하면서도 공간-시간 정보를 효과적으로 전달
• Co-Tracker 활용: 사전학습된 밀집 포인트 추적 모델을 VLA 학습에 창의적으로 통합하여 추가 감독 신호 없이 시간 정보 인코딩
• 다양한 모델 스케일 검증: 7B OpenVLA와 4B Phi-3-Vision 두 가지 아키텍처에서 방법의 일반성과 확장성 입증
• 대규모 데이터셋 구성: 150K 로봇 조작 궤적으로 구성된 전담 시각 추적 프롬프팅 데이터셋 구축

Limitation & Further Study

• Visual trace 생성에 별도의 Co-Tracker 모델이 필요하여 계산 오버헤드가 발생하며, 추적 실패 시 성능 저하 가능성
• 2D 포인트 궤적만 사용하므로 3D 공간 정보의 깊이(depth) 손실로 인한 제약
• SimplerEnv와 WidowX 로봇에 대한 평가이므로 다른 로봇 플랫폼(팔, 휴머노이드 등)에 대한 일반화 정도 미지수
• Visual trace의 최적 추적 시간 윈도우 N과 그리드 크기 K에 대한 체계적 분석 부족
• 후속연구: 적응적 trace 생성, 3D 포인트 클라우드 기반 확장, 다양한 로봇 형태에 대한 평가, visual trace 품질 자동 평가 메커니즘 개발

Evaluation

총평: Visual trace prompting은 직관적이면서도 효과적인 기법으로, VLA 모델의 공간-시간 인식을 실질적으로 개선하며 광범위한 실험(시뮬레이션 및 실제 로봇)을 통해 우수한 성능을 일관되게 입증했다. ICLR 2025 게재 논문으로서 로봇 조작 분야의 실질적 기여도가 높다.