MineDreamer: Learning to Follow Instructions via Chain-of-Imagination for Simulated-World Control

Motivation

Known: 최근 foundation model들이 sequential decision-making에서 지시 추종 능력을 보이고 있으며, VPT와 같은 대규모 사전학습 모델들이 존재한다. 그러나 기존 방법들은 추상적이고 순차적인 자연어 지시를 안정적으로 따르는 데 실패한다.
Gap: 텍스트 지시는 추상적이고 순차적이기 때문에 현재 상태를 고려하여 구체적인 시각적 프롬프트로 변환되어야 한다. 기존 방법들은 단일 텍스트 입력으로 안정적인 행동 생성을 하지 못한다.
Why: 일반화된 embodied agent가 다양한 지시를 인간처럼 따를 수 있다면 복잡한 열린 세계 작업을 자동화할 수 있으며, 이는 AI 에이전트의 실용성과 적응성을 크게 향상시킨다.
Approach: MineDreamer는 Imaginator가 지시와 현재 관찰을 기반으로 미래 목표를 상상하고, Prompt Generator가 이를 정밀한 시각적 프롬프트로 변환하며, PolicyNet(VPT)이 이 프롬프트를 따라 행동을 생성하는 3단계 구조를 채택한다. 이 과정을 반복하는 CoI 메커니즘이 핵심이다.

Fig. 5: Performance on Programmatic Evaluation. MineDreamer surpasses the

Chain-of-Imagination 메커니즘: Sequential decision-making 영역에 '자기 다중 턴 상호작용'을 도입하여 에이전트가 지시를 안정적으로 따르도록 함", 'MLLM-향상된 diffusion model: 물리 법칙과 환경 이해를 포함한 고품질 상상을 생성하여 현재 상태에 맞는 정밀한 시각적 프롬프트 제공
Goal Drift Collection 방법: 대규모 자동수집된 egocentric embodied 데이터로 Imaginator 학습
성능 향상: 최고 성능의 generalist agent baseline 대비 거의 2배의 성능 달성(단일 및 다중 단계 지시 모두)

Fig. 2: The Overview of Chain-of-Imagination. The Imaginator imagines a goal

Imaginator: Parameter-efficiently fine-tuned diffusion model이 MLLM의 시각적 추론 능력을 활용하여 현재 상태와 지시에 기반한 미래 목표 이미지 생성
Prompt Generator: 현재 관찰, 미래 상상, 지시를 활용하여 latent visual prompt 재구성
PolicyNet: 사전학습된 VPT 모델이 latent visual prompt를 조건으로 하여 저수준 제어 행동 생성
Goal Drift Collection: 타임스탬프 t*에서 다수의 (현재 관찰, 미래 상상) triplet 형성으로 대규모 데이터 자동 수집
반복적 CoI 메커니즘: Imaginator와 PolicyNet 간 다중 턴 상호작용을 통해 현재 상태에 맞춘 시각적 프롬프트 순환적 생성

CoI 메커니즘의 혁신성: 단순 텍스트-행동 직접 매핑 대신 중간 시각적 상상 단계를 도입하여 상태-의존적 추론 능력 추가
MLLM과 diffusion model의 통합: 기존 diffusion 기반 embodied 제어는 고정 환경에 제한되었으나, MLLM을 활용하여 열린 세계 환경의 물리 규칙과 환경 이해를 동적으로 반영
Goal Drift Collection의 자동화: 수동 데이터 수집 대신 자동화된 방법으로 대규모 egocentric embodied 데이터 획득
Self multi-turn interaction: Sequential decision-making에서 자기 상호작용의 개념을 처음 도입하여 단계적 지시 추종 구현

Minecraft 환경에 한정된 평가로 실제 로봇이나 다른 시뮬레이터로의 일반화 가능성 미검증
Goal Drift Collection 방법의 자동화 과정에서 노이즈나 오류 데이터 포함 가능성에 대한 분석 부족
Imaginator의 상상 생성 오류가 누적되어 PolicyNet의 행동 생성 오류로 전파될 수 있으나, 이에 대한 오류 분석 및 대응 메커니즘 미흡
장시간 복잡한 다중 단계 작업에 대한 성능 평가 제한적
후속 연구: 실제 로봇 환경에서의 적응, 오류 전파 완화를 위한 robust한 피드백 메커니즘, 더 긴 시간 지평에서의 안정성 향상 필요

기반 연구MineDojo 논문은 Minecraft 환경에서 대규모 데이터로 embodied agent를 학습하는 방식의 기반을 제공하여, MineDreamer의 CoI 메커니즘 이해를 돕습니다.

기반 연구Open X-Embodiment 데이터셋은 MineDreamer의 학습/평가에 있어서 멀티로봇, 대규모 trajectory 데이터 활용의 기초가 된다.

기반 연구MineDreamer는 Minecraft에서 chain-of-imagination을 활용해 장기 과제 문제 해결에 초점을 맞추며, MP5의 long-horizon task setting을 심화 확장합니다.

응용 사례MP5 논문은 MPCraft(World of Minecraft) 환경에서 multi-modal VLA 시스템을 구현하므로 MineDreamer의 실제 embodied agent 적용과 관련이 높습니다.

기반 연구Unified Video Action Model은 시각-언어 행동 모델을 영상 기반으로 통합하려는 코어 아이디어를 제공하여, MineDreamer의 Chain-of-Imagination 메커니즘의 배경이 됩니다.

다른 접근MineDreamer는 chain-of-imagination을 활용해, 행동 생성 및 실행 코드를 더 복합적인 reasoning에 기반해 생성하는 접근으로 Code as Policies와 비교된다.

다른 접근BEHAVIOR-1K는 대규모 휴먼 데이터셋을 활용한 long-horizon 태스크 학습 벤치마크를 제공해, MineDreamer의 multi-step imagination 실행 환경과 활용 데이터 차이를 비교할 수 있습니다.

다른 접근MineDreamer는 chain-of-imagination 방식의 instruction 내 행동 토큰 모델링을 다루어, FAST의 tokenization 기반 VLA와 유사 과제의 타 접근입니다.

다른 접근MineDreamer는 chain-of-imagination 기반의 instruction 따라하기 벤치마크와 평가 방식을 제공하므로, BOSS의 observation space shift 문제 대비 상상 기반 방법의 장단점을 논의할 수 있습니다.

다른 접근CoT-VLA는 Visual Chain-of-Thought Reasoning을 통해 단계별 reasoning을 강조하여, MineDreamer의 Chain-of-Imagination과 직접 비교가 가능하다.

다른 접근MineDreamer는 인간 데모를 활용하여 언어를 통한 로봇 행동 시퀀스를 생성하며, CLAM의 continuous latent action 공간 접근과 비교할 만합니다.