Video Language Planning

Motivation

• Known: LLM은 추상적인 텍스트 계획을 생성할 수 있지만 물리적 제약을 반영하기 어렵고, Text-to-Video Model은 객체의 동역학을 학습할 수 있지만 단기 비디오만 생성 가능하다.
• Gap: LLM의 고수준 추상화 능력과 Text-to-Video Model의 저수준 동역학 모델링을 통합하여 장기 수평선 작업을 계획하는 방법이 부재하다.
• Why: 로봇이 복잡한 다단계 조작 작업을 수행하기 위해서는 물리적으로 타당한 상세 계획이 필요하며, 이를 통해 실제 로봇 배포 시 성공률을 크게 향상시킬 수 있다.
• Approach: Vision-Language Model을 정책과 휴리스틱 함수로, Text-to-Video Model을 동역학 모델로 사용하여 트리 서치 절차를 구성하고, 생성된 비디오 계획을 Goal-Conditioned Policy로 실행 가능한 로봇 액션으로 변환한다.

Achievement

Figure 3: Video Accuracy vs Planning Budget. Left: VLP scales positively with more compute budget; it is

• 알고리즘 설계: Vision-Language Model과 Text-to-Video Model을 synergistic하게 결합한 VLP 알고리즘으로 수백 프레임에 걸친 장기 비디오 계획 생성 가능
• 계산 효율성: 계산 예산에 따라 성능이 확장되어 검색 깊이와 분기 인수를 증가시킬 수 있음
• 실무 검증: 3개의 로봇 하드웨어 플랫폼에서 PaLM-E와 RT-2를 포함한 기존 방법들보다 현저히 높은 작업 완료율 달성
• 일반화 능력: Internet-scale 데이터로 사전학습된 모델을 활용하여 새로운 객체와 구성에 대한 일반화 성능 입증

How

Figure 1: Video Language Planning uses forward tree search via vision-language models and text-to-video

• VLM 정책 πVLM(x, g)을 사용하여 현재 이미지와 목표에 조건화된 추상 텍스트 액션 생성
• Text-to-Video Model fVM(x, a)로 각 액션에 대한 단기 비디오 시퀀스 예측
• VLM 휴리스틱 함수 HVLM(x, g)로 각 예측 상태가 작업 완료에 얼마나 기여하는지 평가
• Forward Tree Search를 통해 가장 유망한 분기를 재귀적으로 확장
• 생성된 비디오 계획의 각 중간 프레임에 조건화된 Goal-Conditioned Policy로 저수준 제어 액션 추론

Originality

• Vision-Language Model과 Text-to-Video Model의 상호보완적 특성을 처음으로 체계적으로 결합한 계획 알고리즘
• Text-to-Video Model을 동역학 모델로 사용하여 장기 계획에 적용한 혁신적인 접근
• 불완전한 언어 라벨이 있는 비디오 데이터로부터 학습할 수 있는 강점을 활용한 설계
• 비디오 계획과 Goal-Conditioned Policy의 통합을 통한 실제 로봇 배포 파이프라인 구축

Limitation & Further Study

• Text-to-Video Model이 생성하는 비디오의 시각적 충실도 제한으로 인한 장기 계획의 오차 누적 가능성
• VLM의 정책과 휴리스틱 함수가 충분히 정확한 추상화를 제공해야 하는 의존성
• 계산 비용이 높아 실시간 계획 및 동적 환경에서의 적응성 제한
• 후속연구: 비디오 생성 모델의 장기 일관성 개선, 더 효율적인 트리 서치 알고리즘 개발, 부분 관측 환경에서의 적응 메커니즘

Evaluation

총평: 본 논문은 대규모 사전학습 모델의 상호보완적 강점을 영리하게 통합하여 실제 로봇 시스템에서 획기적인 성능 향상을 달성한 혁신적 연구이며, 계획 문제에 대한 현대적 재검토를 제시한다.