저자: Yiran Qin, Enshen Zhou, Qichang Liu, Zhenfei Yin, Lu Sheng, Ruimao Zhang, Yu Qiao, Jing Shao | 날짜: 2023-12-12 | URL: https://arxiv.org/abs/2312.07472 📄 PDF
Essence
Figure 2. Overview of module interaction in MP5. After receiving the task instruction, MP5 first utilizes Parser to gene
MP5는 Minecraft에서 장기-지평선 개방형 태스크를 해결하기 위해 MLLMs 기반의 다중모듈 embodied 시스템으로, active perception scheme을 통해 프로세스 의존성과 컨텍스트 의존성을 모두 처리한다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: MP5는 active perception scheme을 통해 process-dependent와 context-dependent 태스크를 통합적으로 처리하는 창의적인 접근법을 제시하며, MLLMs 기반 embodied AI의 실질적 발전을 보여준다. 다만 절대적 성능 수치와 실제 환경 전이 가능성에 대한 추가 검증이 요구된다.
같이 보면 좋은 논문
기반 연구MineDojo는 Minecraft 기반 개방형 에이전트 플랫폼으로, MP5가 실제로 실험한 주요 인프라 및 멀티모달 태스크의 기초가 됩니다.
기반 연구MP5(1482)는 마인크래프트 내 멀티모달 오픈엔디드 에이전트 시스템으로, Voyager에서 제안된 오픈엔디드 embodied agent의 후속적 발전을 시도한다.
후속 연구Voyager는 Minecraft에서의 오픈엔디드 embodied agent를 더욱 상위 수준의 적응력과 정책 생성 능력으로 발전시켜 MP5 프레임워크의 확장된 사례가 됩니다.
기반 연구1482는 비디오 환경에서 multi-modal open-ended 시스템을 구현하며,
1444의 자연어 기반 reward 기반 로봇 행동 합성과 실제 open-world 게임환경의 응용 연결을 보여준다.
기반 연구LLM-State 역시 장기-지평선 개방형 작업에서 오브젝트 센트릭 상태 표현을 다루어 MP5의 멀티모듈 시각/언어/모션 추론의 기반이 된다.
기반 연구MP5 논문은 MPCraft(World of Minecraft) 환경에서 multi-modal VLA 시스템을 구현하므로 MineDreamer의 실제 embodied agent 적용과 관련이 높습니다.
후속 연구MineDreamer는 Minecraft에서 chain-of-imagination을 활용해 장기 과제 문제 해결에 초점을 맞추며, MP5의 long-horizon task setting을 심화 확장합니다.
기반 연구MP5는 Minecraft에서 멀티모달 embodied 시스템을 위한 벤치마크와 데이터세트를 제공해 다양한 환경 내학습의 실질적 확장 가능성을 보여준다.
기반 연구MP5 논문은 복잡한 open-ended 환경(Minecraft)에서 Cosmos-Predict2.5와 유사한 통합 world simulation 방식을 적용합니다.
다른 접근MP5 역시 Minecraft 환경에서 멀티모달 기반의 로봇 에이전트 학습을 다루며, SayPlan의 3D Scene Graph 활용과 비교에 유용하다.
다른 접근JARVIS-1도 Minecraft 멀티모달 LLM+에이전트 시스템으로, MP5와의 모듈 구조·상황 처리 전략 차이를 비교할 수 있습니다.
다른 접근ConRFT 논문은 다중모달 VLA모델의 정합성을 강조하며 MP5의 MLLM base approach와 다른 fine-tuning/추론 전략을 제공한다.
