/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/422_Improving_generalization_of_robot_locomotion_policies_via_sh

Motivation

• Known: Differentiable simulator를 활용한 first-order policy gradient 방법(SHAC, PODS, AHAC 등)은 model-free 방법(PPO)보다 샘플 효율이 높지만, contact-rich 환경에서 시뮬레이터 gradient의 편향과 높은 분산으로 인해 sharp local minima에 수렴하기 쉽다. 딥러닝 분야에서는 flat minima가 일반화 성능과 out-of-distribution robustness에 유리하다는 것이 알려져 있으며, 이를 위한 최적화 기법으로 SAM과 ASAM이 제안되었다.
• Gap: 기존 FoPG 알고리즘들은 sharpness-aware optimization의 통찰을 정책 최적화 과정에 통합한 사례가 없으며, first-order 방법의 일반화 능력(환경 변동, action perturbation에 대한 강건성)이 충분히 검증되지 않았다.
• Why: Sim-to-real transfer의 성공을 위해서는 시뮬레이션에서 학습한 정책이 실제 환경의 노이즈와 파라미터 불확실성에도 강건해야 하는데, 샘플 효율적인 first-order 방법이 이러한 강건성을 확보할 수 있다면 로봇 학습의 실용성이 크게 향상되기 때문에 중요하다.
• Approach: SHAC의 정책 업데이트 단계에 ASAM의 sharp-aware perturbation을 결합하여, loss sharpness를 함께 최소화하는 minimax 최적화 문제로 정책을 학습하는 SHAC-ASAM을 제안한다.

Achievement

Average episode reward as function of the noise strenght for SHAC, SHAC-ASAM, and

1. 강건성 향상: SHAC-ASAM이 action noise와 환경 파라미터(예: contact Coulomb friction) 변동에 대해 vanilla SHAC보다 훨씬 향상된 강건성을 보임.
2. 일반화-효율성 균형 달성: SHAC의 샘플 효율성을 유지하면서 PPO에 필적하는 일반화 성능을 달성하여 first-order와 zeroth-order 방법의 장점을 결합.
3. Flat minima와의 연관성 검증: Loss landscape에서 더 평탄한 minima를 찾는 것이 일반화 성능 향상과 직접적으로 연관됨을 실험적으로 확인.

How

Average episode reward as a function of the contact Coulomb friction for SHAC, SHAC-

• Ant와 Humanoid와 같은 contact-rich 시뮬레이션 환경에서 SHAC, PPO, SHAC-ASAM 세 가지 알고리즘을 훈련.
• 훈련된 정책에 대해 action noise strength를 변화시키며 average episode reward를 측정하는 강건성 테스트 수행.
• 환경 파라미터(contact Coulomb friction 등)를 변화시켜 policy의 out-of-distribution 일반화 성능을 heatmap 및 곡선 형태로 시각화하여 비교.
• ASAM의 perturbation(ϵt)을 SHAC의 정책 손실 함수(Lθ)의 gradient에 적용하여 minimax 최적화를 2단계 절차로 구현.

Originality

• Sharpness-aware optimization을 differentiable simulation 기반 first-order policy gradient 알고리즘에 최초로 통합한 접근.
• 기존에는 SAM/ASAM이 주로 지도학습의 이미지 분류 등에 적용되었으나, 이를 강화학습의 정책 최적화, 특히 contact-rich 로봇 locomotion 문제에 적용한 점이 독창적.
• Flat minima 개념을 통해 first-order와 zeroth-order 강화학습 방법 간의 트레이드오프(효율성 vs 강건성) 문제를 새로운 관점에서 해결하려는 시도.

Limitation & Further Study

• 실험이 시뮬레이션 환경(Ant, Humanoid)에 국한되어 있으며 실제 로봇에서의 sim-to-real transfer 검증이 부재함.
• ASAM 적용으로 인해 추가적인 backward pass가 필요해 계산 비용이 증가할 수 있는데, 이에 대한 구체적인 오버헤드 분석이 부족함.
• SHAC 외의 다른 FoPG 알고리즘(PODS, AHAC 등)에 대한 일반화 검증이 이루어지지 않아 접근법의 범용성에 대한 실증이 제한적임.
• 후속 연구로 실제 로봇 하드웨어에서의 검증, 다양한 FoPG 알고리즘과의 결합, 계산 비용 최적화 등이 필요함.

Evaluation

총평: Sharpness-aware optimization을 differentiable simulation 기반 강화학습에 결합한 참신하고 실용적인 접근으로, 로봇 정책의 sim-to-real 강건성 향상에 유의미한 기여를 하지만 실제 로봇 실험의 부재가 아쉬운 부분이다.