DiffCoTune: Differentiable Co-Tuning for Cross-domain Robot Control

Motivation

• Known: 로봇 컨트롤러의 도메인 전이를 위해 강건 제어, 적응 제어, 시스템 식별, 도메인 랜더마이제이션 등 다양한 방법들이 개별적으로 적용되어 왔으나, 각 방법은 보수적 성능이나 불충분한 불확실성 추정 등의 한계를 가진다.
• Gap: 기존의 다단계 최적화 기반 fine-tuning 방법들은 보상 설계가 필요하거나 특정 시스템에만 적용 가능한 반면, 순수 gradient 기반의 일반화된 co-tuning 프레임워크가 부족하다.
• Why: 로봇 배포 시 시뮬레이터의 모델 불일치로 인한 성능 저하를 자동으로 보정할 수 있는 체계적 방법이 필요하며, 이는 실제 로봇 시스템의 실용적 배포를 가능하게 한다.
• Approach: DiffCoTune은 differentiable simulator와 controller를 활용하여 배포 도메인에서 수집한 롤아웃으로 시뮬레이터 매개변수 β와 컨트롤러 매개변수 θ를 교대로 최적화하는 multi-step objective 기반 최적화를 수행한다.

Achievement

Fig. 3: Sim-to-sim transfer of forward and yaw motion of

• 일반화된 co-tuning 프레임워크: 모델 기반 및 학습 기반 컨트롤러 모두에 적용 가능한 순수 gradient 기반의 자동화된 tuning 방법 개발
• 적은 시행횟수로의 효과적 전이: 배포 도메인에서 5회 미만의 시행으로 체계적인 도메인 전이 달성
• 광범위한 확장성 검증: cart-pole 저차원 안정화부터 quadruped 및 biped 고차원 추적까지 다양한 작업에서 성능 개선 입증
• 다중 도메인 전이: 다양한 시뮬레이터와 실제 하드웨어 간의 sim-to-sim 및 sim-to-real 전이 모두 성공

How

Fig. 2: Phase portraits of progressive tuning iterates of DiffCoTune

• Differentiable simulator f(x_t, u_t; β)를 통해 모든 상태, 입력, 매개변수에 대한 gradient 계산 가능
• System identification objective J_sysId를 통해 폐루프 동역학에서 모델과 실제 시스템의 불일치 정량화
• Task objective J_task로 배포 도메인에서의 실제 성능 평가
• 교대 최적화(alternating optimization)를 통해 β와 θ를 반복적으로 업데이트
• 배포 도메인에서 수집한 실제 롤아웃 데이터로 gradient 기반 업데이트 수행
• 다단계 목적 함수 설계로 시뮬레이터 보정과 컨트롤러 적응을 동시에 달성

Originality

• 기존의 순차적 최적화(RL → fine-tuning)가 아닌 동시 co-tuning으로 시뮬레이터-컨트롤러 간의 상호 의존성 명시적 고려
• 폐루프 동역학 기반의 system identification으로 종래의 개루프 sysId와 차별화
• Task-specific 설계 없이 임의 복잡도의 컨트롤러에 적용 가능한 범용적 framework 제시
• Differentiable simulator의 gradient 정보를 효과적으로 활용한 scalable gradient 기반 최적화 전략

Limitation & Further Study

• Differentiable simulator의 미분가능성 요구로 인한 시뮬레이터 선택의 제약
• 초기 nominal controller의 품질에 의존하는 local optimization 특성으로 인해 크게 부족한 초기 컨트롤러에서의 성능 미보증
• 배포 도메인에서의 롤아웃 수집 필요로 인한 실제 시스템 시간 소요
• High-dimensional 매개변수 공간에서의 수렴성 및 전역 최적성 보장 부재
• 후속 연구로 모델 구조 자체의 학습, 다중 작업 동시 전이, 비연속적 도메인 변화에 대한 적응 방법 필요

Evaluation

총평: 본 논문은 로봇 도메인 전이의 실질적 문제를 differentiable simulator 기반의 우아한 co-tuning 프레임워크로 해결하며, 다양한 컨트롤러와 시스템에서의 광범위한 실험을 통해 실용성을 입증한 기여도 높은 연구이다.