BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation

Motivation

• Known: 컴퓨터 비전과 NLP에서 벤치마크의 중요성이 확립되었으며, 로보틱스 커뮤니티도 여러 시뮬레이션 벤치마크를 개발해왔다. 그러나 기존 벤치마크는 연구자 기반 설계와 다양성-현실성 간의 trade-off 문제를 가지고 있다.
• Gap: 기존 벤치마크들은 실제 인간의 필요와 선호도를 충분히 반영하지 못하고 있으며, 1,000개 규모의 diverse activities를 모두 realistic simulation으로 지원하는 통합 플랫폼이 부재하다.
• Why: human-centered AI는 실제 사용자의 needs, goals, values를 반영해야 하며, diverse한 일상 활동을 realistic하게 시뮬레이션할 수 있는 벤치마크는 embodied AI와 로봇 학습 연구의 발전을 가속화할 수 있다.
• Approach: Amazon Mechanical Turk에서 1,461명을 대상으로 2,090개 활동에 대한 선호도 조사를 수행하여 1,000개의 상위 활동을 선정하고, Nvidia Omniverse와 PhysX 5 기반의 OMNIGIBSON 환경에서 이들 활동을 rigid bodies, deformable bodies, liquids의 realistic physics simulation으로 구현했다.

Achievement

Figure 2: Elements of BEHAVIOR-1K. Our benchmark comprises two elements: BEHAVIOR-1K DATASET

• Human-Grounded Benchmark Design: 1,461명의 일반 대중 조사를 통해 인간의 실제 선호도에 기반한 1,000개 일상 활동 정의
• BEHAVIOR-1K Dataset: 50개의 diverse scenes (주택, 정원, 레스토랑, 사무실 등)와 9,000+ 개의 rich physical/semantic annotations을 가진 3D 객체 모델 제공
• OMNIGIBSON Simulation Environment: rigid bodies, deformable bodies, liquids의 realistic physics simulation과 temperature, toggled, soaked, dirtiness 등 확장된 object states 지원
• Sim-to-Real Validation: mobile manipulator를 사용한 시뮬레이션-현실 간 전이 학습 초기 연구 제시
• Difficulty Analysis: state-of-the-art RL 알고리즘들이 해결하기 어려운 long-horizon, complex manipulation 활동임을 실증

How

Figure 3: Comparison of Visual Realism: We evaluate OMNIGIBSON’s visual realism against other simulation

• Time-use surveys와 WikiHow 기사에서 약 2,000개의 활동 소싱
• Amazon Mechanical Turk에서 1,461명 참여자를 대상으로 10-point Likert scale로 각 활동당 50개 응답 수집
• Gini index 0.158로 측정된 높은 분산의 활동 선호도 분포 확인
• Predicate logic으로 활동의 초기 조건, 목표 조건, 관련 객체, 상태 전이 정의
• Nvidia Omniverse와 PhysX 5를 기반으로 OMNIGIBSON 개발 및 확장 object states 구현
• Reinforcement learning (DRL algorithms)과 sampling-based motion planning을 활용한 baseline 평가
• Mobile manipulator의 현실 로봇 실험을 통한 simulation-to-reality gap 검증

Originality

• Human-Centric Survey-Based Design: 기존 벤치마크와 달리 실제 일반 대중의 선호도 조사를 통해 활동 선정 (최초)
• Scale and Diversity: 1,000개 활동, 50개 장면, 9,000+ 객체 모델로 unprecedented scale의 diverse embodied AI benchmark 구현
• Realistic Physics-Semantic Integration: rigid/deformable bodies, liquids, extended object states를 통합한 포괄적 physics simulation
• Commonsense Knowledge Base: Predicate logic 기반의 structured activity definitions로 활동의 semantics 명시적 표현
• Empirical Difficulty Assessment: long-horizon, complex manipulation 활동의 difficulty를 체계적으로 분석

Limitation & Further Study

• Simulation-to-reality gap이 존재하며, mobile manipulator 예제만 제시되어 다양한 로봇 플랫폼에 대한 전이 성능 미검증
• State-of-the-art RL 알고리즘들이 현저히 낮은 성공률을 보여 immediate practical applicability 제한
• 1,000개 활동 중 일부만 상세히 분석되어 전체 활동의 특성 완전히 파악 어려움
• Human preference score가 활동의 실제 complexity/difficulty와의 correlation 분석 부족
• 후속 연구에서 advanced learning algorithms, meta-learning, curriculum learning 등을 통한 성능 개선 필요
• 다양한 로봇 morphology (bipedal, mobile base 등)에 대한 확장 필요

Evaluation

총평: BEHAVIOR-1K는 human-grounded survey, 대규모 diverse activities, realistic physics simulation을 통합하여 embodied AI 연구의 새로운 표준을 제시한 획기적인 벤치마크이다. 실제 인간 필요에 기반한 설계와 unprecedented scale의 다양성은 로봇 학습 커뮤니티에 significant impact을 미칠 것으로 예상된다.