DataMIL: Selecting Data for Robot Imitation Learning with Datamodels

Essence

Figure 1: Data selection with datamodels. (left) Similarity-based methods select close samples

DataMIL은 datamodels 패러다임을 로봇 모방학습에 적용하여 대규모 사전 데이터셋에서 작업별 성능을 직접 최적화하는 정책 기반 데이터 선택 프레임워크를 제시한다.

Known: 로봇 공학에서는 대규모 다양한 데이터셋으로 학습한 generalist 정책이 평균 성능은 높지만 개별 작업에서는 저조한 성능을 보이며, 기존 데이터 선택 방법은 의미론적·시각적 유사성 같은 휴리스틱에 의존한다.
Gap: 기존 휴리스틱 기반 데이터 필터링 방법은 실제 정책 성능에 대한 데이터의 영향을 고려하지 않으며, NLP/CV의 datamodels 프레임워크를 로봇 학습에 적용하려면 비용이 많이 드는 실시간 롤아웃 평가 문제를 해결해야 한다.
Why: 대규모 로봇 데이터셋의 효과를 최대화하려면 작업 성공에 실제로 기여하는 데이터를 식별하는 성능 기반 선택이 필수적이며, 이는 샘플 효율을 높이고 실제 배포 시 정책 미세조정 비용을 감소시킨다.
Approach: DataMIL은 validation loss를 대리 목적 함수로 사용하여 실시간 롤아웃 없이 데이터의 정책 성능 영향을 추정하는 datamodel을 학습하고, regression 및 metagradient 기반 추정기를 통해 각 데이터 포인트의 영향도 점수를 계산한다.

Figure 4: Results for data selection on OXE. We test the performance of policies trained on data

Figure 1: Data selection with datamodels. (left) Similarity-based methods select close samples

정책 학습 알고리즘 A를 black box로 취급하고 데이터 부분집합 D'에 대한 성능 메트릭 M(A(D'))을 근사하는 datamodel f̂를 학습", 'validation loss를 대리 목적 함수로 사용하여 실제 정책 성능과의 상관관계를 유지하면서 비용을 감소
Regression 기반 estimator: 작은 규모 정책(MetaWorld)에서 데이터-성능 쌍으로부터 직접 학습
Metagradient 기반 estimator: Octo 같은 대규모 정책에서 gradient 정보를 활용한 효율적 추정
선택된 데이터와 작업별 목표 데이터를 co-training으로 결합하여 최종 정책 학습
validation loss 상관관계를 통해 실환경 평가 없이 데이터 영향도 점수 계산

Validation loss와 실제 작업 성능 간의 완벽한 상관관계 보장 부족 — 특정 도메인이나 정책 아키텍처에서 대리 목적 함수의 유효성이 감소할 가능성
Datamodel 학습 자체에 여러 정책 학습(다양한 D' 부분집합) 필요로 초기 계산 비용이 존재", '실세계 실험이 4개 작업으로 제한적이므로 더 복잡하고 다양한 실제 환경에서의 일반화 미검증
후속 연구: (1) 다양한 정책 아키텍처와 도메인에서의 대리 손실 함수의 최적화, (2) 온라인 학습 환경에서 점진적 데이터 선택, (3) 다중 작업 학습 시나리오에서의 확장성

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: DataMIL은 datamodels를 로봇 모방학습에 성공적으로 적용하여 성능 기반 데이터 선택이라는 중요한 문제를 해결하며, 광범위한 시뮬레이션 및 실세계 실험을 통해 기존 휴리스틱 기반 방법 대비 일관된 개선을 입증한 높은 가치의 연구이다.

기반 연구BridgeData V2는 대규모 로봇 학습용 데이터셋을 제공하며, DataMIL이 효율적으로 데이터 셀렉션 전략을 적용할 때 주요 데이터 소스이다.

기반 연구Robot Learning in the Era of Foundation Models 서베이는 DataMIL처럼 대규모 데이터 기반 로봇 정책 설계 및 데이터 선택의 이론적 근거를 제공합니다.

기반 연구Genie 논문은 비지도 학습 기반 데이터셋을 제공하여 DataMIL의 데이터 선택 정책의 적용 범위를 넓힌다.

기반 연구DataMIL은 시뮬과 실제 환경에서 데이터 선택과 적응을 연구하여 Sim2Real의 성능 개선을 목표로 한다는 점에서 연관성이 높습니다.

다른 접근Whom to Trust? 논문은 분산적 학습에서 누가 데이터를 선정·활용할지에 대한 elective learning 방식을 제시하여, DataMIL과 대조적 관점을 보입니다.

다른 접근RDT-1B는 대규모 데이터 기반 모방학습 및 정책학습을 다루면서 DataMIL의 policy optimal data selection 방식과 대조적 접근을 제안한다.

후속 연구Instruction Augmentation 논문은 로봇 모방학습 데이터의 다양성과 효과적 선택 방식을 더욱 확장하는 방법론을 제안한다.

후속 연구DataMIL은 imitation learning에서 데이터 선택 원리를 다루며, 보상 기반 행동 합성의 데이터 품질과 관련된 이론적 기반을 제공한다.