SPRINT: Scalable Policy Pre-Training via Language Instruction Relabeling

Essence

Fig. 1: SPRINT is a scalable approach for pre-training robot policies with a rich repertoire of skills while minimizing

SPRINT는 대규모 언어 모델(LLM)을 활용한 instruction relabeling과 offline RL 기반 cross-trajectory skill chaining을 통해 로봇 정책 사전학습을 위한 인간 주석 비용을 크게 줄이는 확장 가능한 접근법이다.

Motivation

Known: 기존 연구들은 자연어 instruction을 통해 로봇 정책을 사전학습하면 다운스트림 태스크 학습을 가속화할 수 있음을 보였으나, 수십만 개의 instruction을 수동으로 주석 처리해야 하는 문제가 있다.
Gap: 자동화된 instruction 생성 방법들이 존재하지만 온라인 학습이나 손으로 정의한 문법 같은 확장성이 떨어지는 가정에 의존한다. 오프라인 환경에서 LLM을 활용한 scalable한 자동 instruction 생성 방법이 부족하다.
Why: 로봇에게 더 풍부한 기술 레퍼토리를 제공하면 새로운 장기 지평 태스크를 더 효율적으로 학습할 수 있으며, 인간 주석 비용 감소는 산업 외 분야에서도 로봇 학습을 실용화할 수 있게 한다.
Approach: SPRINT는 초기 language-annotated trajectory 데이터셋으로부터 시작하여 LLM 기반 instruction 집계와 offline RL 기반 skill chaining을 통해 자동으로 사전학습 태스크 집합을 확장한 후, 확장된 데이터로 instruction-conditioned 정책을 학습한다.

Achievement

Fig. 5: ALFRED-RL evaluation results. Left: Zero shot performance on EVALINSTRUCT and EVALLENGTH. SPRINT is able

자동 instruction 생성: LLM을 활용한 consecutive instruction 집계로 복합 태스크 자동 생성
Cross-trajectory skill chaining: Offline RL 기반 여러 궤적의 기술 조합으로 학습 데이터에 없는 새로운 조합 기술 생성
ALFRED-RL 벤치마크: 장기 지평 가사 작업 평가를 위한 RL 벤치마크 제시
우수한 성능: ALFRED 시뮬레이터 및 실제 로봇 주방 조작 태스크에서 기존 사전학습 방법 대비 다운스트림 태스크 학습 효율성 향상

How

Fig. 2: SPRINT overview. We assume access to a dataset

Instruction-conditioned offline RL: 자연어 task description z가 주어졌을 때 π(a|s, z)를 학습하도록 보상 설계
Language model instruction aggregation: LLaMA 같은 대규모 언어 모델을 통해 연속된 instruction을 더 복잡한 상위 레벨 instruction으로 결합
Cross-trajectory skill chaining: 다양한 궤적 세그먼트를 stitching하여 데이터셋에 없는 새로운 기술 조합 생성
반복적 확장: 생성된 새로운 instruction들을 사전학습 데이터셋에 다시 추가하여 점진적으로 기술 다양성 증대

Limitation & Further Study

LLM 기반 instruction 생성의 품질이 LLM의 성능에 의존하며, 생성된 instruction이 실제 가능한 기술인지 검증 메커니즘 부족
Skill chaining이 항상 타당한 결과를 생성하는지 명확하지 않음 (예: 두 개의 연결되지 않은 기술의 조합)
실험이 ALFRED 시뮬레이터와 제한된 실제 로봇 환경에서만 수행되어 다양한 도메인으로의 일반화 가능성 미확인
계산 비용 분석 및 LLM 호출 횟수에 대한 실질적 논의 부족
후속 연구: (1) 생성된 instruction의 실행 가능성 자동 검증 메커니즘 개발, (2) 더 다양한 로봇 도메인과 환경에서의 평가, (3) 기술 체인 합성 시 인과 관계 및 순서 제약 고려

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: SPRINT는 LLM과 offline RL을 창의적으로 결합하여 로봇 정책 사전학습의 인간 주석 비용을 획기적으로 감소시키는 실질적이고 확장 가능한 방법을 제시한다. 실험 결과도 우수하나, 생성된 instruction의 품질 보증과 다양한 도메인에서의 검증이 추가되면 더욱 강력한 기여가 될 것이다.

같이 보면 좋은 논문

LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

기반 연구LIBERO는 lifelong robot learning을 위한 벤치마크와 데이터로, SPRINT의 skill chaining 및 정책 사전학습의 실용적 기반을 제공한다.

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset

기반 연구DROID는 실제 환경에서 VLA 정책 학습용 대규모 데이터를 제공하며, SPRINT 모델의 대규모 오프라인 RL과 skill chaining 성능 검증에 활용될 수 있다.

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

기반 연구InstructVLA는 SPRINT와 유사하게 언어 주석 relabeling과 instruction 기반 정책 학습을 주제로 하여 사전학습(Pre-training) 과정의 이론적 기반을 제공한다.

Language to Rewards for Robotic Skill Synthesis

다른 접근Language to Rewards for Robotic Skill Synthesis는 언어 기반 reward shaping을 통해 정책 학습 효율화를 추구하며, SPRINT의 instruction relabeling 기반 사전학습과 유사 문제에 대해 아이디어적 차별성을 제공한다.

Bootstrap Your Own Skills: Learning to Solve New Tasks with Large Language Model Guidance

다른 접근SPRINT는 언어 지시 기반 정책 사전학습 프레임워크로 BOSS 방식의 스킬 생성과 장기 작업 달성 전략의 차이를 비교할 수 있다.

$π_{0.5}$: a Vision-Language-Action Model with Open-World Generalization

다른 접근$π_{0.5}$: a Vision-Language-Action Model with Open-World Generalization은 라벨 효율성/범용 정책 사전학습 및 인간 코스트 절감 측면에서 SPRINT와 유사 산업적 목표를 추구한다.

DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy

다른 접근DemoDiffusion 논문은 비슷하게 diffusion을 통한 one-shot imitation learning을 제안하지만, SPRINT와 달리 instruction relabeling 대신 diffusion 기반 imitation을 강조한다.

SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning

후속 연구SPRINT는 언어 명령 기반 정책 대규모 사전학습에 대한 접근법을 제시하고, SayPlan이 다루는 LLM 확장성 연구와 상호보완적이다.