Scaling Instructable Agents Across Many Simulated Worlds

Essence

Figure 1 | Overview of SIMA. In SIMA, we collect a large and diverse dataset of gameplay from both

SIMA는 키보드-마우스 인터페이스를 통해 자연어 명령을 따르는 embodied AI 에이전트를 다양한 3D 환경(연구용 환경 및 상업 비디오 게임)에서 학습시키는 프로젝트이다. 이는 언어를 지각과 구현된 행동에 그라운딩하여 일반적인 embodied AI 개발을 목표로 한다.

Motivation

Known: 비디오 게임 환경은 embodied AI 연구의 중요한 플랫폼으로 사용되어 왔으며, 대규모 언어 모델의 성공은 다양한 데이터 분포에서의 학습이 일반화 성능을 향상시킨다는 것을 보여주었다.
Gap: 기존 연구들은 제한된 환경에서만 언어 명령을 따르도록 했거나 손으로 제작한 행동 공간을 사용했으며, 단일 게임에 최적화된 에이전트만 개발했다. 여러 환경에서 자유로운 자연어 명령을 따르는 일반화된 에이전트는 개발되지 않았다.
Why: 언어와 구현된 행동의 연결은 일반적인 AI 개발의 핵심 과제이며, 시뮬레이션 환경에서의 성공은 로봇 공학 등 실제 응용으로 확장할 수 있는 기초를 제공한다.
Approach: 인간이 사용하는 것과 동일한 키보드-마우스 인터페이스를 유지하면서 여러 비디오 게임과 연구 환경에서 수집한 대규모 다양한 데이터셋으로 에이전트를 학습시킨다. 이는 새로운 환경으로의 확장을 용이하게 하고 인간 모방 학습을 가능하게 한다.

Achievement

Figure 1 | Overview of SIMA. In SIMA, we collect a large and diverse dataset of gameplay from both

다중 환경 포트폴리오: 10개 이상의 3D 환경(연구용 custom 환경 및 상용 비디오 게임) 구축 및 활용
통일된 에이전트 인터페이스: 모든 환경에서 동일한 키보드-마우스 입출력 인터페이스 사용으로 환경 간 일반화 가능성 입증
평가 방법론 개발: 상용 게임에서 언어 명령 완료 여부를 평가하기 위해 OCR 기반 방식과 인간 평가 방법론 개발
자연어 명령 처리: 제한된 문법이 아닌 자유로운 자연어 명령 이해 및 실행 능력 시연

How

Figure 4 | Setup & SIMA Agent Architecture. The SIMA agent receives language instructions from a

대규모 다양한 게임플레이 데이터셋을 curated research 환경과 상용 비디오 게임 모두에서 수집
시각 관찰(pixel 입력)과 자연어 명령(text 입력)으로부터 키보드-마우스 행동(action 출력)을 매핑하는 에이전트 학습
게임 내 상태 접근 없이 인간 플레이어와 동일한 화면 관찰만 사용하는 조건 설정
비동기 환경에서의 실시간 상호작용으로 현실적인 제약 조건 반영
GPU당 하나의 게임 인스턴스 실행 제약 하에서 효율적인 학습 방식 개발
연구 환경에서는 ground truth state로 평가, 상용 게임에서는 OCR 및 인간 평가 활용

Originality

기존 언어 기반 게임 에이전트 연구와 달리 상용 게임을 포함한 10개 이상의 다양한 환경에서 동시에 학습하는 스케일 확대
손으로 제작한 행동 공간이 아닌 일반 키보드-마우스 인터페이스를 모든 환경에서 일관되게 사용
특권 정보(internal game state, rewards) 없이 오직 화면 관찰과 자연어만으로 학습하는 최소 가정 원칙
대규모 언어 모델의 다양한 데이터 분포 학습 성공에 영감을 받아 embodied AI에 적용한 창의적 확장

Limitation & Further Study

현재는 단기 수평(short-horizon) 작업에 초점이 맞춰져 있으며 장기 계획 능력은 미흡
GPU 리소스 제약으로 인한 병렬 처리 한계 (GPU당 하나의 게임 인스턴스만 실행 가능)
상용 게임에서의 평가가 OCR 및 인간 평가에 의존하여 객관적 성능 측정의 어려움
에이전트가 아직 '인간이 할 수 있는 모든 것'을 달성하지 못하고 있으며 어떤 작업에서의 성공률이나 구체적 벤치마크 결과가 제시되지 않음", '후속 연구로는 장기 계획 능력 강화, 더 많은 게임 및 환경 추가, 실제 로봇 환경으로의 전이 학습 필요

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: SIMA는 대규모 다양한 환경에서 자연어 명령을 따르는 embodied AI 에이전트 개발이라는 야심찬 목표를 제시하며, 통일된 인터페이스와 최소 가정을 유지하면서 스케일을 확대한 점에서 창의적이다. 다만 구체적인 정량적 성과 제시 부족과 현재 달성 수준의 명확한 평가가 필요하다.

같이 보면 좋은 논문

MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

기반 연구MineDojo는 Minecraft와 같은 상업 및 연구 환경 내 embodied agent 학습 프레임워크로, SIMA의 다양한 3D 환경 언어 기반 에이전트 개발에 이론적 인프라를 제공한다.

Learning Universal Policies via Text-Guided Video Generation

다른 접근Learning Universal Policies via Text-Guided Video Generation 논문은 텍스트 기반 정책 일반화와 확장 문제에 다른 접근법을 사용하여 SIMA와 비교 가능하다.

PaLM-E: An Embodied Multimodal Language Model

다른 접근PaLM-E는 실제 환경에서 언어와 시각 정보를 통합하는 embodied communication 방식을 통해 SIMA의 언어-지각-행동 통합 접근에 대한 대안을 제시한다.

LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

다른 접근Scaling Instructable Agents Across Many Simulated Worlds는 다양한 작업 및 시뮬 환경에서 지식 전이와 lifelong learning 프레임워크를 강조합니다.

GenSim: Generating Robotic Simulation Tasks via Large Language Models

다른 접근GenSim 역시 LLM을 활용하여 시뮬레이션 태스크를 생성/학습하는 구조로, SIMA의 다양한 환경 적응과 유사한 문제를 다룬다.

MP5: A Multi-modal Open-ended Embodied System in Minecraft via Active Perception

후속 연구MP5는 Minecraft에서 멀티모달 embodied 시스템을 위한 벤치마크와 데이터세트를 제공해 다양한 환경 내학습의 실질적 확장 가능성을 보여준다.

RT-H: Action Hierarchies Using Language

후속 연구Scaling Instructable Agents 논문은 다양한 시뮬레이트 환경에서의 skill chaining 및 행동 계층화의 기반을 제시한다.