GRUtopia: Dream General Robots in a City at Scale

Essence

Figure 1: Key features of GRUtopia.

GRUtopia는 로봇 학습을 위한 최초의 대규모 시뮬레이션 3D 도시 환경으로, 100k개의 상호작용 가능한 장면, LLM 기반 NPC 시스템, 그리고 종합적인 벤치마크를 제공하여 embodied AI의 scaling law 탐구를 가능하게 한다.

Known: 최근 embodied AI에서 scaling law가 주목받고 있으며, 실제 로봇 데이터 수집의 높은 비용으로 인해 Sim2Real 패러다임이 중요하다. 기존 시뮬레이션 플랫폼들(Habitat, AI2-THOR 등)은 주로 가정 환경에 집중하고 장면 다양성이 제한적이다.
Gap: 기존 플랫폼들은 장면 다양성과 복잡성 측면에서 제한적이며, 서비스 지향적 환경(병원, 슈퍼마켓 등)에서의 로봇 배치를 대비하기 위한 고품질 대규모 데이터셋과 사회적 상호작용 시뮬레이션이 부재하다.
Why: 일반 로봇이 실제로 배치될 서비스 환경에서의 다양한 작업을 학습하려면 고품질의 대규모 시뮬레이션 데이터와 인간과의 상호작용 시나리오가 필수적이며, 이는 Sim2Real 갭을 줄이고 로봇 학습의 확장성을 높인다.
Approach: GRScenes 데이터셋(89개 카테고리, 100k 장면), GRResidents LLM 기반 NPC 시스템, GRBench 벤치마크를 개발하여 다양한 로봇 플랫폼(특히 legged robot)을 지원하고 Object Loco-Navigation, Social Loco-Navigation, Loco-Manipulation 작업을 포함한다.

Figure 2: The richness and diversity of scenes and objects in GRScenes. (a) The distribution of

GRScenes 데이터셋: 89개 다양한 기능 카테고리, 100k개의 상호작용 가능하고 세밀하게 주석 처리된 장면으로 city-scale 환경 구성 가능
GRResidents NPC 시스템: LLM 기반으로 사회적 상호작용, 작업 생성, 작업 할당을 수행하며 환경 지식과 실시간 장면 인식 활용
GRBench 벤치마크: Object Loco-Navigation, Social Loco-Navigation, Loco-Manipulation의 세 가지 점진적 난이도 작업 제공
기존 플랫폼 대비 우수성: 기존의 8개 장면 타입(Behavior-1K)과 비교해 89개 타입, 가정 환경 중심에서 서비스 환경으로 확대
학습 기반 제어 정책 API 제공: 보행 및 집기-놓기 조작 등 저수준 정책을 API로 제공하여 Sim2Real 갭 축소

Figure 3: Overview of GRResidents (Sec. 3.2). It comprises two modules: (a) A world knowledge

라이선스 문제로 인해 초기 공개 시 100개 장면만 7가지 건물 타입으로 제한되며, 나머지 데이터의 단계적 공개 필요
Legged robot을 주요 에이전트로 하며 다른 로봇 플랫폼 지원이 제한적
현재 버전의 GRBench는 고수준 작업에 초점을 맞추고 있어 저수준 제어 정책 학습 연구에는 직접적 활용 제한
NPC의 대화 질감, 작업 생성의 현실성에 대한 정량적 평가 결과 부족
후속 연구: 데이터셋의 완전한 공개, 더 많은 로봇 플랫폼 지원, 저수준 제어와 고수준 계획의 통합 학습 방법론 개발, NPC 지능의 추가 향상

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: GRUtopia는 embodied AI 연구를 위한 혁신적인 대규모 시뮬레이션 플랫폼으로, 다양한 서비스 환경, 인간과의 사회적 상호작용, 그리고 체계적인 벤치마크를 통해 로봇 학습의 확장성 문제를 해결하는 중요한 기여이다.

기반 연구BEHAVIOR-1K는 대규모 상호작용 태스크와 다양한 환경을 제공해 GRUtopia와 유사한 scaling law 연구, 벤치마킹의 이론적 기반이 됩니다.

다른 접근Genie: Generative Interactive Environments도 대규모 상호작용 가능한 시뮬레이션 환경을 제공하므로, GRUtopia의 대규모 3D 도시 환경과 비교해볼 만합니다.

다른 접근3D Diffusion Policy는 대규모 3D 환경에서 범용 시각-행동 정책 학습을 시도하여 GRUtopia의 대규모 도시 환경 시뮬레이션과 비슷한 목적을 달리 구현합니다.

다른 접근GRUtopia와 달리 A Real-to-Sim-to-Real Approach to Robotic Manipulation with Global Computational Graph은 현실-시뮬레이션 상호작용을 통해 로봇 적응 문제를 다룹니다.

다른 접근MuBlE(1483)는 대규모 시뮬레이션 환경 제공 측면에서 GRUtopia(1417)와 유사하나, 환경의 성격(로우레벨 시뮬레이션 vs 도시/벤치마크)에서 차이를 보인다.

응용 사례DROID(1372)는 대규모 실제 데이터 기반 조작 벤치마크로, GRUtopia(1417)의 시뮬레이션 결과가 실제 데이터로 연결될 때의 활용성이 크다.