Stability of Control Lyapunov Function Guided Reinforcement Learning

Motivation

• Known: Control Lyapunov Function (CLF)은 비선형 제어 이론에서 안정 제어기 합성의 고전 도구로 널리 사용되어 왔으며, 휴머노이드 로봇 제어에 RL이 실용적으로 큰 성공을 거두고 있으나 이론적 근거는 부족한 상태이다.
• Gap: CLF-RL의 실제 적용 성공에도 불구하고 최적 정책의 안정성 속성에 대한 이론적 분석이 부재하며, CLF 기반 보상이 정말로 지수 안정성을 보장하는지에 대한 수학적 증명이 필요하다.
• Why: 휴머노이드 로봇 제어는 고차원 비선형 시스템이므로 이론적 안정성 보증은 안전 크리티컬 응용에서 필수적이며, CLF-RL의 이론적 기초 확립은 제어 이론과 심화 학습의 격차를 줄이는 중요한 기여가 된다.
• Approach: RL 문제을 최적 제어 문제로 재정의하고, stage cost ℓ(x,u) := βV(x) + ρ[V̇(x,u) + λV(x)]+를 설계하여 discounted infinite horizon optimal control problem을 공식화한다. Hamilton-Jacobi-Bellman (HJB) 방정식과 Lyapunov 이론을 결합하여 최적 정책의 지수 안정성을 증명한다.

Achievement

Fig. 2.

Theorem 1 (연속시간 지수안정성): 최적 정책 π∗는 원점 근처에서 지역 지수 안정을 달성하며, ∥x(t)∥ ≤ √[c₂(γ + 2L)/(c₁(γ + λ))] e^(-λt/2) ∥x₀∥의 명시적 수렴 경계를 만족한다. Theorem 2 (이산시간 확장): 이산시간 동역학에서도 동일한 지수 안정성 성질을 증명하고 로버스트성을 보장한다. 수치 검증: Double integrator 및 cart-pole 시스템에서 이론적 경계가 수치 해와 일치함을 확인한다. 실험 검증: Unitree G1 휴머노이드로봇의 주기 보행 추종 학습에 CLF-RL을 적용하여 안정적인 보행 궤적 추종 성능을 달성한다.

How

Fig. 2.

• Assumption 1-2에서 CLF의 존재 및 최적 정책 존재 조건을 선언하고, positive definiteness와 forward invariance를 보이기 위해 4개의 보조정리(Lemma 1-4)를 증명. • Lemma 1: J(0)=0이고 J(x)>0 (x≠0)의 양정부호성 증명. • Lemma 2: 상한 경계 J(x) ≤ β/(γ+λ) V(x) 도출. • Lemma 3: HJB 식과 최적성 조건으로부터 J̇(x) ≤ -λJ*(x) 도출. • Lemma 4: 압축성(compactness)과 불변성(invariance) 증명. • 이산시간의 경우 비슷한 논리를 difference equation에 적용하고, 추가 실용적 보상항(additional practical reward terms)을 포함하는 확장을 제시.

Originality

• CLF-RL이 실제로 지수 안정성을 보증한다는 최초의 수학적 증명 제시. • Optimal control 프레임워크와 Lyapunov 안정성 이론의 통합적 활용으로 RL의 이론적 기초를 강화. • 연속시간과 이산시간 모두에서 증명하고 실용적 추가 보상항까지 포함하는 포괄적 분석.

Limitation & Further Study

• Assumption 1-2의 존재 조건이 선언적이며, 모든 실제 시스템에서 CLF의 구성 방법이 자명하지 않다. • 지역 안정성만 증명되며, 수렴 영역(region of attraction)의 크기에 대한 명시적 정량화가 부족. • 휴머노이드 실험은 주기 궤적 추종으로 제한되어 일반화 성능(disturbance 대응, 비정상 상황)이 검증되지 않음. 후속 연구: 전역 안정성 조건 도출, CLF 자동 생성 방법 개발, 모델 불확실성 하에서의 로버스트성 분석 필요.

Evaluation

총평: 본 논문은 CLF-RL의 실제 성공을 이론으로 뒷받침하는 중요한 기여로, 지수 안정성 증명이 명확하고 연속·이산 시간 모두에서 포괄적으로 다루어졌다. 다만 지역 안정성 한정, CLF 구성 방법의 실용성 부재, 제한된 실험 검증이 한계이나, 제어 이론과 RL의 격차를 줄이는 가치 있는 첫 걸음이다.