World Simulation with Video Foundation Models for Physical AI

Motivation

• Known: Physical AI 시스템의 안전한 훈련을 위해서는 고품질의 시각적 세계 시뮬레이터가 필요하며, 이전 세대인 Cosmos-Predict1은 diffusion 기반 비디오 세계 모델을 제시했다.
• Gap: 기존 모델은 아키텍처 복잡성, 텍스트 표현 제한, 그리고 물리 AI 도메인에 대한 특화 부족으로 인해 시뮬레이션 충실도와 지시 정렬에서 개선 여지가 있다.
• Why: 고품질의 합성 데이터와 시뮬레이션은 실제 환경에서의 위험성과 비용을 줄이면서 embodied intelligence를 대규모로 확장하는 핵심이다.
• Approach: 200M 큐레이션된 비디오 클립으로 사전 훈련하고, supervised fine-tuning과 reinforcement learning 기반 post-training으로 정제하며, Cosmos-Reason1 VLM과 통합하여 더 풍부한 텍스트 기반 제어를 제공한다.

Achievement

• 통합 아키텍처: Text2World, Image2World, Video2World 생성을 단일 flow-based 모델에 통합
• 성능 향상: Cosmos-Predict1 대비 비디오 품질과 지시 정렬에서 상당한 개선
• 모델 규모: 2B와 14B 두 가지 규모의 모델 제공
• Cosmos-Transfer2.5: 3.5배 더 작으면서 더 높은 충실도의 Sim2Real/Real2Real 변환 프레임워크
• 장시간 생성: 강건한 long-horizon 비디오 생성 능력
• 다중 응용: 로봇 정책 학습, 자율주행 시뮬레이션, VLA 훈련용 합성 데이터, action-conditioned 세계 생성 지원

How

Figure 1: Our video curation pipeline transforms raw, unstructured video data from diverse real-world sources

• 7단계 비디오 큐레이션 파이프라인: shot 분할, transcoding, 크로핑, 필터링, 캡셔닝, 의미론적 중복 제거, sharding
• 로보틱스, 자율주행, 스마트 공간, 인간 동역학, 물리 등 도메인별 특화 데이터 수집 및 처리
• Flow matching 기반 architecture로 diffusion 모델 대체
• Cosmos-Reason1 VLM과의 통합으로 향상된 텍스트 표현
• Model merging 기법을 활용한 사전 훈련
• Supervised fine-tuning (SFT)과 reinforcement learning 기반 post-training
• Timestep distillation으로 모델 효율화
• Control-net 스타일 Cosmos-Transfer2.5 프레임워크로 세계 변환 작업 처리

Originality

• Flow matching으로 diffusion 모델의 계산 복잡성 개선
• 단일 모델에 Text2World, Image2World, Video2World를 통합한 설계
• Physical AI 특화 VLM (Cosmos-Reason1)과의 통합으로 향상된 제어성
• RL 기반 post-training으로 모델 정렬 개선
• Domain-specific 큐레이션과 200M 규모 데이터셋 구성
• Control-net 기반 Cosmos-Transfer2.5로 Sim2Real 변환 확장
• Closed-loop 시뮬레이션을 위한 architecture 설계

Limitation & Further Study

• 장시간(long-horizon) 비디오 생성의 누적 오류에 대한 상세한 분석 부족
• 물리 정확도에 대한 정량적 평가 지표 제시 제한
• 실제 로봇 배포 결과에 대한 광범위한 시연 부족
• 생성된 합성 데이터의 domain gap이 실제 정책 성능에 미치는 영향에 대한 심층 분석 필요
• 계산 자원 요구사항 및 추론 속도에 대한 상세 공개 정보 부족
• 후속 연구: 더 긴 시간 범위의 안정적인 생성, 물리 시뮬레이터와의 더 깊은 통합, 추가 도메인(의료, 산업용) 확장

Evaluation

총평: 본 논문은 Physical AI 시뮬레이션을 위한 통합된 flow-based 기초 모델을 제시하며, 대규모 데이터, 개선된 아키텍처, 정교한 post-training을 통해 실질적인 성능 향상을 달성했다. 오픈소스 공개로 embodied intelligence 연구의 접근성을 크게 높일 것으로 예상된다.