Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision

Motivation

• Known: 기존 VLA 모델들(RT-2, OpenVLA, FAST, π0, π0.5, GR00T N1 등)은 pretrained VLM과 action expert를 결합해 continuous action chunk를 생성하며, cross-embodiment transfer를 위해 zero-padding, per-embodiment normalization, 또는 고정된 semantic role을 부여하는 unified action space 등 format-level 기법을 사용해왔다.
• Gap: 이러한 format-level 기법들은 서로 다른 embodiment의 action을 동일 차원에 배치하더라도 관절 회전축·범위 차이로 인해 같은 차원이 실제로 다른 물리적 의미를 갖는 문제를 해결하지 못하며, 모델이 embodiment-specific pattern에 overfit되지 않고 진정한 shared representation을 학습하도록 하는 semantic alignment 문제는 미해결로 남아 있다.
• Why: 저수준 action space의 이질성을 우회하면서도 embodiment 간 전이 가능한 표현을 학습할 수 있다면, 이질적인 로봇 플랫폼 데이터를 통합 학습해 일반화된 로봇 정책을 구축하는 cross-embodiment pre-training의 핵심 약속을 실현하는 데 중요한 진전이 된다.
• Approach: System 2(pretrained VLM)가 학습 중 구조화된 ECoT reasoning을 생성해 embodiment-agnostic한 semantic representation을 학습하도록 하고, System 1(DiT 기반 action expert)이 cross-attention을 통해 이 representation을 받아 flow matching으로 continuous action chunk를 생성하며, 추론 시에는 attention mask로 ECoT 텍스트 생성을 완전히 생략해 비용 없이 표현 이득만 취하는 dual-stream 구조를 제안한다.

Achievement

Figure 1: The framework of ZR-0. ZR-0 combines a vision-language model (VLM) with a Diffusion

1. ZR-0 모델 제안: System1/System2 인지 프레임워크에 기반한 2.6B 파라미터 dual-stream VLA 모델로, VLM(Qwen3-VL-2B-Instruct 초기화)과 DiT 기반 action expert를 cross-attention으로 결합.
2. 추론 비용 없는 ECoT 활용: action expert가 VLM의 input prompt feature에만 attend하도록 cross-attention mask를 설계해, 학습 시 ECoT 감독의 representation 이득을 얻으면서 추론 시 ECoT 생성을 완전히 생략해도 성능 저하가 없음을 입증.
3. ProcCorpus-60M 데이터셋 활용: Open X-Embodiment, DROID, RH20T 등 다양한 오픈소스 로봇 데이터셋을 통합하고 전체 프레임의 96.8%에 dense ECoT annotation(장면 묘사, 진행 상황, 계획, 하위작업, bounding box, action token)을 부여한 약 6천만 프레임(약 1000시간, 40만+ trajectory) 규모의 사전학습.
4. 다양한 embodiment에서의 검증: LIBERO(단일 팔), RoboTwin 2.0(양팔), RoboCasa GR-1 Tabletop(휴머노이드) 세 시뮬레이션 벤치마크와 xArm 실물 실험 전반에서 강력한 성능을 입증.

How

Figure 1: The framework of ZR-0. ZR-0 combines a vision-language model (VLM) with a Diffusion

• Qwen3-VL-2B-Instruct를 System 2(VLM)로 초기화해 image observation과 task instruction으로부터 구조화된 ECoT(장면 묘사, task progress, future plan, sub-task 분해, target object bounding box, discretized action token)를 생성
• System 1은 Diffusion Transformer(DiT) 기반 action expert로, flow matching을 통해 H개의 continuous action chunk를 생성
• 두 스트림을 cross-attention으로 연결하여 reasoning에서 action으로 정보가 흐르도록 하되, attention mask를 적용해 action expert가 VLM의 input prompt feature만 참조하도록 제한함으로써 단 한 번의 VLM forward pass만으로 action expert에 필요한 모든 feature를 산출
• ProcCorpus-60M(다양한 embodiment의 60M 프레임, 자동 ECoT 주석 파이프라인 적용)으로 사전학습
• LIBERO, RoboTwin 2.0, RoboCasa GR-1 Tabletop 시뮬레이션 벤치마크 및 xArm 실물 플랫폼에서 평가

Originality

• 저수준 action/state space가 아닌 고수준 인지 과정(reasoning)이 embodiment 간 공유된다는 관찰을 기반으로, format-level 정렬이 아닌 semantic-level 정렬을 dense ECoT 감독을 통해 시도한 점
• ECoT를 단순 보조 손실이나 auxiliary VL data가 아니라 cross-embodiment representation alignment의 핵심 메커니즘으로 위치시킨 점
• 학습 시에만 ECoT를 사용하고 추론 시 cross-attention mask로 완전히 생략하는 설계를 통해 reasoning의 representational benefit과 diffusion-action expert의 저지연 실시간 제어를 동시에 확보한 점
• 96.8%라는 매우 높은 커버리지의 dense ECoT annotation을 갖춘 대규모(ProcCorpus-60M) cross-embodiment 데이터셋 구축

Limitation & Further Study

• 발췌된 부분만으로는 정량적 성능 수치(baseline 대비 개선 폭)와 ablation(예: ECoT 유무, mask 유무에 따른 성능 비교)이 충분히 제시되지 않아 dense ECoT 감독의 실제 기여도를 명확히 판단하기 어려움
• ECoT annotation이 자동 파이프라인으로 생성되므로 annotation 품질과 노이즈가 downstream 성능에 미치는 영향에 대한 분석이 필요
• 평가 embodiment 수(단일팔, 양팔, 휴머노이드, xArm)가 제한적이며, 더 이질적인 embodiment(예: 이동형 로봇, 4족 로봇 등)로의 일반화 검증이 후속 연구로 필요
• attention mask를 통한 ECoT 생략 설계가 다른 VLA 아키텍처나 더 복잡한 long-horizon task에도 동일하게 유효한지에 대한 추가 검증이 요구됨

Evaluation

총평: 고수준 reasoning의 embodiment-agnostic한 성격에 착안하여 dense ECoT 감독으로 cross-embodiment representation을 정렬하고, 추론 시 비용 없이 이를 활용하는 실용적 설계가 돋보이는 연구로, 대규모 데이터셋 구축과 다양한 embodiment에서의 검증을 통해 VLA 연구에 의미 있는 기여를 한다.