DiWA: Diffusion Policy Adaptation with World Models

Motivation

Known: Diffusion policy는 모방학습에서 안정성이 우수하지만 분포 이동에 취약하며, DPPO는 온라인 PPO를 통해 미세조정할 수 있지만 수백만 번의 환경 상호작용이 필요하다.
Gap: 현재 diffusion policy의 미세조정 방법들은 온라인 환경 상호작용에 크게 의존하여 실제 로봇에서 비효율적이고 안전 문제가 있다.
Why: 로봇 학습에서 실제 환경 상호작용은 비용이 크고 시간이 오래 걸리며 위험하므로, 오프라인에서 효율적으로 정책을 개선하는 방법이 실무적으로 중요하다.
Approach: 데이터 효율성이 높은 world model을 오프라인 play 데이터로 학습한 후, 이를 안전한 시뮬레이터로 사용하여 diffusion policy를 오프라인 RL로 미세조정한다.

Figure 1: (a) Standard diffusion policies trained via imitation learning are limited by offline data. (b) DPPO [17]

오프라인 Diffusion Policy 미세조정: Dream Diffusion MDP를 공식화하여 실제 또는 시뮬레이션 환경과의 상호작용 없이 diffusion policy를 완전히 오프라인으로 미세조정하는 최초의 프레임워크 제시
샘플 효율성 향상: CALVIN 벤치마크에서 수십만 개의 오프라인 play 상호작용으로 학습한 world model만으로 모형 없는 기준선 대비 수 배 이상 적은 물리적 상호작용으로 성능 개선
제로샷 실제 환경 배포: World model로 완전히 미세조정된 diffusion 정책이 추가 물리적 상호작용 없이 실제 로봇에 배포 가능함을 입증

Figure 2: DiWA framework: (1) A world model is trained on unstructured robot play data to learn latent dynamics.

기반 연구World Models 논문은 상상(rollout)을 통한 정책 개선이라는 DiWA의 중심 아이디어에 이론적 배경을 제공한다.

기반 연구1297은 시뮬레이션-실세계 간 정책 적응에 관한 실습적 전환법을 제안하여, DiWA의 상상 기반 policy 개선 방법의 현실 적용 토대를 설명한다.

기반 연구DiWA는 world models를 활용해 diffusion policy adaptation을 구현하며, Compose Your Policies!의 policy composition 개념을 더 세밀하게 확장합니다.

다른 접근MetaMorph는 transformer 기반 multi-policy adaptation을 다루어, diffusion policy adaptation with world models 접근과 대조적으로 볼 수 있다.

다른 접근DiWA 논문은 world model과 diffusion policy의 적응을 결합하여 DreamerV3와는 다른 방식의 범용 RL 정책 학습을 제안합니다.

다른 접근두 논문 모두 Diffusion Policy의 효율화에 초점을 두지만, DiWA는 월드 모델 기반 정책 적응에, MoDE는 Mixture-of-Experts 구조로 연산량 절감에 집중합니다.

다른 접근DiWA는 월드 모델 기반 정책 적응을 diffusion 방식으로 구현하여, EnerVerse의 embodied future space 예측과 유사 과제의 대안 접근입니다.

다른 접근1515의 Phantom은 오직 인간 비디오로만 로봇 정책을 학습·적응시키는 접근을 사용하여, world model 시뮬레이션 기반 로봇 미세조정(DiWA)과 비교된다.

응용 사례robosuite는 다양한 로봇 시뮬레이션 환경과 벤치마크를 제공하므로, DiWA와 같은 diffusion policy 기반 정책을 실제 적용 및 검증하는 데 활용될 수 있습니다.