저자: Yilun Du, Mengjiao Yang, Bo Dai, Hanjun Dai, Ofir Nachum, Joshua B. Tenenbaum, Dale Schuurmans, Pieter Abbeel | 날짜: 2023-01-31 | URL: https://arxiv.org/abs/2302.00111 📄 PDF
Essence
Figure 1: Text-Conditional Video Generation as Universal Policies. Text-conditional video generations
텍스트 조건부 video generation을 사용하여 다양한 환경에서 작동하는 범용 정책을 학습하는 방법을 제안하며, 현재 이미지와 텍스트 목표 설명으로부터 미래 프레임 시퀀스를 생성한 후 inverse dynamics model로 액션을 추출한다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 본 논문은 video generation을 통한 범용 정책 학습이라는 창의적인 접근으로 환경 다양성과 reward 설계 문제를 우아하게 해결하며, 조합적 일반화와 인터넷 규모 지식 전이를 통해 강화학습 분야에 상당한 기여를 한다.
같이 보면 좋은 논문
기반 연구Learning Universal Policies via Text-Guided Video Generation은 언어로부터 학습하는 정책의 범용성을 다루어, LLM 기반 affordance grounding 방법과 시너지를 보입니다.
기반 연구Learning Universal Policies via Text-Guided Video Generation 논문은 시각-언어-행동 명령어 데이터 생성 방식의 확장 사례로, Visual Instruction Tuning 이후 파생 응용을 보여준다.
기반 연구1455는 텍스트로 유도된 비디오 생성 방법으로 RL policy의 보편성 학습을 추구하며,
1442에서 지향하는 멀티모달 memory 및 generalization이 실제 다양한 환경(예: Minecraft)에 어떻게 적용되는지 고찰할 수 있다.
기반 연구Learning Universal Policies via Text-Guided Video Generation은 language-conditioned robotics를 확장한 구체적 정책 학습 방법으로, 서베이에서 제시된 주요 주제의 실제 적용 예시입니다.
기반 연구Unleashing Large-Scale Video Generative Pre-training은 텍스트 기반 비디오 생성 및 로봇 정책 도출의 이론적 기반을 제공합니다.
기반 연구Genie는 생성 기반 가상 환경과 상호작용을 결합하여, 텍스트 조건부 영상 생성 기반의 범용 정책 학습 방식에 대한 이론적 토대를 제공합니다.
기반 연구Learning Universal Policies via Text-Guided Video Generation 논문은 scaling 관점에서 대규모 정책 학습이 실제 로봇 성능으로 이어지는지를 실험적으로 보여준다.
기반 연구Learning Universal Policies via Text-Guided Video Generation 논문은 멀티모달 VLM의 실제 로봇 응용/정책학습 측면에서 survey 논문이 제기한 융합기법을 실제로 구현한 사례입니다.
기반 연구Learning Universal Policies via Text-Guided Video Generation은 open vocabulary navigation에서 자연어 지시로 새로운 목표 대상을 탐색하는 정책을 생성하는 방법을 고도화한다.
기반 연구Learning Universal Policies via Text-Guided Video Generation 논문은 텍스트-비디오 생성 기반 정책 학습으로 VLA 모델 적용을 새로운 방향으로 확장시킨다.
기반 연구Learning Universal Policies via Text-Guided Video Generation는 텍스트·비디오 기반 정책 생성 프레임워크를 실제 embodied agent에 적용하여 VLA 모델 구조의 실제 응용 사례를 제공한다.
다른 접근Learning Universal Policies via Text-Guided Video Generation에서도 주석이 없는 데이터의 언어-비주얼 변환, 범용 정책 학습에 관한 대체적 접근법을 취합니다.
다른 접근Learning Universal Policies via Text-Guided Video Generation(1455)는 텍스트 기반 보상 및 정책 생성을 다루는 점에서 LLM의 정책 grounding 실험과 유사한 문제를 풀지만 다른 모달리티를 사용한다.
다른 접근Learning Universal Policies via Text-Guided Video Generation 논문은 LLM과 비디오 생성 방식을 통해 embodied 알고리즘을 학습하며, PaLM-E와 근본적으로 다른 프레임워크를 제시한다.
다른 접근Learning Universal Policies via Text-Guided Video Generation 논문은 RoboCat의 자기 개선 및 적응 과정을 영상-텍스트 주도 정책 학습 접근과 비교할 수 있다.
다른 접근Video Language Planning은 비디오 기반 policy planning에 대한 또다른 접근으로, 텍스트와 비디오 sequence를 통한 정책 설계의 대안 사례다.
다른 접근Learning Universal Policies via Text-Guided Video Generation은 텍스트 기반 비디오 생성으로 보편적 정책을 학습하는 방법을 제시해, ThinkBot의 LLM 기반 instruction completion 방식과 문제 접근이 상이하다.
다른 접근3D Diffusion Policy는 비디오 생성 대신 diffusion 기반 policy를 적용하여 범용 비주얼 정책 학습의 또 다른 접근법을 제시합니다.
다른 접근Learning Universal Policies via Text-Guided Video Generation 논문은 텍스트 기반 정책 일반화와 확장 문제에 다른 접근법을 사용하여 SIMA와 비교 가능하다.
다른 접근Learning Universal Policies via Text-Guided Video Generation 논문도 LLM 기반 고수준 계획과 시퀀싱을 영상 기반 policy learning에 적용해, PSL과 task decomposition 관점에서 비교가 가능하다.
다른 접근Learning Universal Policies via Text-Guided Video Generation는 비슷하게 사전 설계된 행동 지식이 아닌 언어모델 및 비디오 생성 접근법을 통해 자동 데이터 생성 및 보편적 정책을 추구합니다.
다른 접근H³DP도 텍스트와 시각 입력을 활용한 행동 정책 학습 및 생성에 diffusion 기반 접근을 보여줍니다.
다른 접근Learning Universal Policies via Text-Guided Video Generation 논문은 action token을 비디오 기반 학습으로 달리 formalize하는 대안적 방향성을 제공합니다.
후속 연구NaVid는 vision-language 모델을 활용한 미래 프레임 예측과 액션 플래닝에 대한 전략을 제공하여, 텍스트 기반 행동 생성의 실제 적용 예시로 확장된다.
후속 연구Learning Universal Policies via Text-Guided Video Generation은 시나리오 생성과 미래 예측을 통한 정책 개선을 논의하므로, ForesightNav와 목적 기반 world modeling 관점에서 밀접합니다.
