Scaling Instructable Agents Across Many Simulated Worlds

Motivation

• Known: 비디오 게임 환경은 embodied AI 연구의 중요한 플랫폼으로 사용되어 왔으며, 대규모 언어 모델의 성공은 다양한 데이터 분포에서의 학습이 일반화 성능을 향상시킨다는 것을 보여주었다.
• Gap: 기존 연구들은 제한된 환경에서만 언어 명령을 따르도록 했거나 손으로 제작한 행동 공간을 사용했으며, 단일 게임에 최적화된 에이전트만 개발했다. 여러 환경에서 자유로운 자연어 명령을 따르는 일반화된 에이전트는 개발되지 않았다.
• Why: 언어와 구현된 행동의 연결은 일반적인 AI 개발의 핵심 과제이며, 시뮬레이션 환경에서의 성공은 로봇 공학 등 실제 응용으로 확장할 수 있는 기초를 제공한다.
• Approach: 인간이 사용하는 것과 동일한 키보드-마우스 인터페이스를 유지하면서 여러 비디오 게임과 연구 환경에서 수집한 대규모 다양한 데이터셋으로 에이전트를 학습시킨다. 이는 새로운 환경으로의 확장을 용이하게 하고 인간 모방 학습을 가능하게 한다.

Achievement

Figure 1 | Overview of SIMA. In SIMA, we collect a large and diverse dataset of gameplay from both

• 다중 환경 포트폴리오: 10개 이상의 3D 환경(연구용 custom 환경 및 상용 비디오 게임) 구축 및 활용
• 통일된 에이전트 인터페이스: 모든 환경에서 동일한 키보드-마우스 입출력 인터페이스 사용으로 환경 간 일반화 가능성 입증
• 평가 방법론 개발: 상용 게임에서 언어 명령 완료 여부를 평가하기 위해 OCR 기반 방식과 인간 평가 방법론 개발
• 자연어 명령 처리: 제한된 문법이 아닌 자유로운 자연어 명령 이해 및 실행 능력 시연

How

Figure 4 | Setup & SIMA Agent Architecture. The SIMA agent receives language instructions from a

• 대규모 다양한 게임플레이 데이터셋을 curated research 환경과 상용 비디오 게임 모두에서 수집
• 시각 관찰(pixel 입력)과 자연어 명령(text 입력)으로부터 키보드-마우스 행동(action 출력)을 매핑하는 에이전트 학습
• 게임 내 상태 접근 없이 인간 플레이어와 동일한 화면 관찰만 사용하는 조건 설정
• 비동기 환경에서의 실시간 상호작용으로 현실적인 제약 조건 반영
• GPU당 하나의 게임 인스턴스 실행 제약 하에서 효율적인 학습 방식 개발
• 연구 환경에서는 ground truth state로 평가, 상용 게임에서는 OCR 및 인간 평가 활용

Originality

• 기존 언어 기반 게임 에이전트 연구와 달리 상용 게임을 포함한 10개 이상의 다양한 환경에서 동시에 학습하는 스케일 확대
• 손으로 제작한 행동 공간이 아닌 일반 키보드-마우스 인터페이스를 모든 환경에서 일관되게 사용
• 특권 정보(internal game state, rewards) 없이 오직 화면 관찰과 자연어만으로 학습하는 최소 가정 원칙
• 대규모 언어 모델의 다양한 데이터 분포 학습 성공에 영감을 받아 embodied AI에 적용한 창의적 확장

Limitation & Further Study

• 현재는 단기 수평(short-horizon) 작업에 초점이 맞춰져 있으며 장기 계획 능력은 미흡
• GPU 리소스 제약으로 인한 병렬 처리 한계 (GPU당 하나의 게임 인스턴스만 실행 가능)
• 상용 게임에서의 평가가 OCR 및 인간 평가에 의존하여 객관적 성능 측정의 어려움
• 에이전트가 아직 '인간이 할 수 있는 모든 것'을 달성하지 못하고 있으며 어떤 작업에서의 성공률이나 구체적 벤치마크 결과가 제시되지 않음", '후속 연구로는 장기 계획 능력 강화, 더 많은 게임 및 환경 추가, 실제 로봇 환경으로의 전이 학습 필요

Evaluation

총평: SIMA는 대규모 다양한 환경에서 자연어 명령을 따르는 embodied AI 에이전트 개발이라는 야심찬 목표를 제시하며, 통일된 인터페이스와 최소 가정을 유지하면서 스케일을 확대한 점에서 창의적이다. 다만 구체적인 정량적 성과 제시 부족과 현재 달성 수준의 명확한 평가가 필요하다.