Value iteration for learning concurrently executable robotic control tasks

Motivation

• Known: 다중 목표 RL (multi-objective RL)은 경합하는 여러 목표를 최적화하는 기존 방법이지만, 일반적으로 작업의 부분 집합 실행이나 온라인 실행 중 작업 우선순위 변경이 불가능하다. 기존 연구들은 Jacobian 기반 작업이나 set-based 작업의 동시 실행을 다루었지만, 시스템 역학을 충분히 고려하지 않았다.
• Gap: 기존 multi-objective RL 방법들은 학습된 작업들이 시간에 따라 변하는 우선순위와 함께 동시에 실행될 수 있도록 독립적으로 행동하도록 강제하거나 장려하는 메커니즘이 없다. 또한 [21]의 min-norm controller는 여러 작업을 결합할 수 있지만 학습된 함수들이 서로 호환되는지 보장하지 않는다.
• Why: 중복 로봇 시스템의 동시 작업 실행은 멀티로봇 시스템, 매니퓨레이터, 휴머노이드 등 현실의 많은 로봇에서 중요하며, 특히 배터리 관리와 긴급 상황 대응이 필요한 환경 모니터링 같은 응용에서 중요하다. 시간에 따라 변하는 작업 우선순위를 동적으로 조정할 수 있는 능력은 실제 로봇 시스템 운영에서 필수적이다.
• Approach: 학습된 cost-to-go function들 사이에 task independence와 orthogonality의 개념을 정의하고, 이 독립성을 만족하도록 하는 cost functional을 제안한다. 시스템 역학을 고려한 새로운 independence 정의를 기반으로 fitted value iteration의 연속 제어 버전을 제안하여 deep RL 패러다임 내에서 직접 학습한다.

Achievement

Figure 3: Robot team forming triangle while avoiding region.

• Task independence의 새로운 정의: 시스템 역학을 고려하여 cost-to-go function들의 독립성을 특성화하는 정의 도입
• 수학적 증명: 제안된 cost functional을 풀면 작업들을 독립적으로 만들 수 있음을 증명
• Continuous Fitted Value Iteration: 제안된 cost functional을 효율적으로 학습하기 위한 fitted value iteration 버전 제안
• 실험 검증: 여러 로봇 시스템에서 충돌하는 목표를 가진 정책들이 동시에 실행될 수 있음을 시연

How

Figure 1: (a): Heatmap of function, ˜𝐽1, trained for avoidance

• Task independence를 동역학을 고려하여 수학적으로 정의
• Cost functional 설계하여 높은 우선순위 작업 실행에 최소한의 간섭을 유도
• 시스템 역학이 알려진 경우를 가정하고 control-affine system으로 모델링
• Neural network로 approximated value function 구현
• Min-norm controller [21]를 사용하여 학습된 정책들을 결합하고 실행

Originality

• 기존 [1], [24]의 Jacobian 기반 정의와 달리 시스템 역학을 직접 고려하는 새로운 task independence 정의 제안
• 이를 기반으로 깊은 RL 학습에 적합한 cost functional 설계
• Multi-objective RL과 다르게 시간에 따라 변하는 우선순위와 작업 부분 집합 실행 지원
• Continuous setting에서 fitted value iteration을 제안하여 기존 [16]과는 다른 가정 적용

Limitation & Further Study

• 이론적 한계: 시스템이 결정론적(deterministic)이고 control-affine이어야 함이라는 강한 가정
• 실무적 한계: 시스템 역학을 근사적으로 알아야 한다는 가정이 모든 응용에 적용 가능하지 않을 수 있음
• 후속 연구: 확률적 시스템으로의 확장, 역학을 학습하는 경우에 대한 분석, 대규모 다중 로봇 시스템에서의 확장성 검증 필요

Evaluation

총평: 본 논문은 중복 로봇 시스템의 동시 작업 실행을 위한 혁신적인 접근법을 제시하며, 시스템 역학을 고려한 task independence의 새로운 정의와 이를 학습하기 위한 실질적인 알고리즘을 제공한다. 수학적 엄밀성과 실험 검증을 통해 실무적 가치를 보여준다.