Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

Motivation

• Known: Embodied AI는 Alan Turing의 Embodied Turing Test에서 비롯되었으며, 로봇공학, 의료, 스마트 제조 등 다양한 응용 분야에서 중요한 역할을 한다. MLMs와 WMs의 등장으로 embodied agents의 인식, 상호작용, 추론 능력이 크게 향상되었다.
• Gap: 기존의 survey 논문들은 대부분 2023년 MLMs 시대 이전에 출판되었으며, MLMs, WMs, embodied agents를 충분히 다루지 않았다. 또한 최근의 embodied robots과 simulators의 발전도 간과되었다.
• Why: Embodied AI는 AGI 달성의 핵심 경로이며, MLMs 시대에 embodied agents는 가상 환경과 물리 환경 모두에서 활발하게 상호작용하는 일반목적형 로봇 개발의 최적 매개체이다. 현재 빠르게 발전하는 분야를 체계적으로 정리할 필요가 있다.
• Approach: 논문은 embodied robots, simulators, 네 가지 주요 연구 과제(embodied perception, embodied interaction, embodied agents, sim-to-real adaptation)에 대한 대표적 연구들을 분석하고, ABC 모델(AI brain, Body, Cross-modal sensors)을 기반으로 한 embodied agent 프레임워크를 제시한다. 또한 ARIO라는 새로운 데이터셋 표준을 제안하고 3백만 에피소드를 포함하는 통합 대규모 데이터셋을 구축했다.

Achievement

Fig. 1. The framework of the embodied agent based on MLMs and WMs,

• MLMs 시대를 반영한 첫 번째 포괄적 survey: 사이버 공간과 물리 공간 정렬 관점에서 MLMs과 WMs 기반의 embodied AI를 체계적으로 분석
• 체계적 분류 체계: embodied robots, simulators, 4가지 주요 연구 과제를 상세 분류학으로 정리
• ARIO 데이터셋 제안: 258개 로봇 시리즈, 321,064개 작업에서 약 3백만 에피소드를 수집한 통합 대규모 데이터셋 구축
• 통합 프레임워크: ABC 모델 기반 embodied agent 프레임워크 제안으로 perception, action, interaction의 통합적 이해 제공

How

Fig. 1. The framework of the embodied agent based on MLMs and WMs,

• embodied robots과 simulators의 최신 사례 및 기술 동향 분석
• active visual perception, visual language navigation 등 embodied perception 기법 검토
• human-robot interaction, task planning 등 embodied interaction 방법론 분석
• RT-1, RT-2, RT-H 등 embodied multi-modal foundation models 분석
• sim-to-real adaptation의 주요 패러다임과 기법 조사
• ARIO 데이터셋 표준화를 통한 벤치마크 구축

Originality

• MLMs와 WMs 시대의 첫 번째 포괄적 survey로서의 신규성
• ABC 모델 기반 embodied agent 프레임워크의 통합적 관점 제시
• 사이버 공간과 물리 공간의 정렬이라는 새로운 관점 도입
• ARIO 데이터셋 표준화로 embodied AI 연구의 표준화 추진

Limitation & Further Study

• survey 논문의 한계: 빠르게 발전하는 분야이므로 발행 이후 새로운 기법과 모델이 계속 등장할 수 있음
• ARIO 데이터셋의 현실성: 시뮬레이션과 실제 로봇 환경 간의 큰 간격을 완전히 해결하지 못할 수 있음
• MLM 기반 embodied agents의 한계: long-term memory, 복잡한 의도 이해, 복잡한 작업 분해 능력이 여전히 제한적임
• 향후 연구: MLM의 long-term reasoning 능력 강화, sim-to-real gap 축소, multimodal information fusion 개선, embodied AI의 안전성과 윤리 문제 해결 필요

Evaluation

총평: 본 논문은 MLMs 시대의 Embodied AI에 대한 첫 번째 포괄적 survey로서, embodied robots, simulators, perception, interaction, agents, sim-to-real adaptation을 체계적으로 정리하고 ARIO 데이터셋을 제안하여 연구 커뮤니티에 큰 기여를 한다. 다만 빠르게 발전하는 분야의 특성상 지속적인 업데이트가 필요하며, 실제 로봇 환경에서의 일반화 성능 검증이 향후 과제이다.