FastDSAC: Enhancing Policy Plasticity via Constrained Exploration for Scalable Humanoid Locomotion

Motivation

• Known: GPU 기반 대규모 병렬 시뮬레이션(MuJoCo Playground, HumanoidBench)은 off-policy actor-critic 방법의 wall-clock 효율을 크게 높였으며, DSAC 같은 distributional critic이나 target policy smoothing, REDQ, DroQ, TQC 등의 방법으로 critic 학습 안정성과 plasticity를 개선하려는 시도가 있었다.
• Gap: 그러나 high-throughput 병렬 샘플링과 large-batch 업데이트로 인해 target action이 극단적이고 낮은 확률의 값을 취할 가능성이 커지고, 이는 target Q-value 추정의 분산을 증가시켜 critic 학습을 불안정하게 하고 policy network의 plasticity를 감소시키는 문제가 충분히 해결되지 않았다.
• Why: Humanoid locomotion과 같은 고차원 연속 제어 문제에서 학습 안정성과 sample efficiency를 동시에 확보하는 것은 실용적인 로봇 학습 파이프라인의 확장성과 수렴 속도를 결정짓는 핵심 요소이기 때문에 중요하다.
• Approach: FastDSAC는 target Q-value 계산에 사용되는 target action을 truncated Gaussian distribution으로 제약하여 out-of-distribution action을 배제하면서도 탐색에 필요한 확률성은 유지하고, 이를 통해 implicit regularization 효과로 plasticity 손실을 완화한다.

Achievement

Fig. 1: Episode returns versus environment steps on MuJoCo Playground. Four locomotion tasks are shown:

1. 학습 안정성 향상: target action을 truncated Gaussian으로 제약함으로써 target Q-value 추정의 분산을 줄여 critic 학습의 안정성을 높였다.
2. Plasticity 손실 완화: 제약된 탐색 행동이 implicit regularization으로 작용하여 high update-to-data(UTD) 비율에서 발생하는 policy plasticity 손실을 효과적으로 완화하였다.
3. 연속 Gaussian 기반 value 추정 개선: FastTD3, FastSAC 등 discrete value distribution을 사용하는 기존 fast RL 방법과 달리, adaptive variance regulation을 갖춘 continuous Gaussian representation을 사용해 value 추정 정확도를 높이고 informative transition을 더 잘 포착하였다.
4. 벤치마크 성능 우위: MuJoCo Playground와 HumanoidBench에서 state-of-the-art baseline 대비 우수한 asymptotic performance와 더 빠른 수렴 속도를 달성하였다.

How

Fig. 3: Transition rewards during data collection on MuJoCo Playground. The figure reports the per-transition reward

• Distributional Actor-Critic(DSAC) 프레임워크를 기반으로, critic이 Gaussian value distribution Zθ(s,a) = N(Qθ(s,a), σθ²(s,a))를 파라미터화함
• target Q-value 계산 시 사용되는 target action a′ ∼ πϕ(· | s′)를 truncated Gaussian distribution으로 제약하여 mean-centered support 내로 한정
• 제약된 action distribution 하에서 유도된 log-probability를 사용해 entropy term을 계산함으로써 exploration과 target Q-value 추정을 decoupling
• 제안된 action constraint가 gradient 업데이트로 인한 policy network의 plasticity 손실을 완화하는 implicit regularization 역할을 하도록 설계
• adaptive variance regulation을 통해 continuous Gaussian critic이 확신도 높고 informative한 transition을 우선적으로 반영하도록 함
• MuJoCo Playground의 4개 locomotion 환경과 HumanoidBench의 whole-body task들에서 episode return(환경 스텝 및 wall-clock 시간 기준), transition reward, gait visualization 등을 통해 성능을 검증

Originality

• 기존 fast RL 방법(FastTD3, FastSAC)이 discrete value distribution을 사용하는 것과 달리, continuous Gaussian representation과 adaptive variance regulation을 결합한 distributional critic을 제안
• target action에 대해서만 truncated Gaussian 제약을 적용해 exploration을 유지하면서 target Q-value 추정만 안정화하는 decoupling 전략을 고안
• plasticity 손실 문제를 action constraint를 통한 implicit regularization 관점에서 재해석하고, 이를 high UTD ratio 학습 전략과 연결

Limitation & Further Study

• truncated Gaussian의 truncation 범위(하이퍼파라미터) 설정에 대한 민감도 분석이나 이론적 근거가 충분히 제시되지 않아 다양한 태스크로의 일반화 가능성이 불확실함
• 본 발췌에서는 plasticity 손실 완화의 정량적 지표(e.g., dead neuron 비율, effective rank 등)에 대한 직접적 측정 결과가 명확히 드러나지 않아 메커니즘 검증이 다소 간접적일 수 있음
• 향후 연구로 다양한 로봇 플랫폼 및 real-world transfer에서의 검증, 그리고 다른 plasticity 보존 기법(e.g., ensemble 기반 방법)과의 결합 가능성을 탐구할 필요가 있음

Evaluation

총평: 대규모 병렬 시뮬레이션 환경에서 발생하는 critic 불안정성과 policy plasticity 손실 문제를 target action 제약이라는 간단하면서도 효과적인 방법으로 해결한 점이 인상적이며, humanoid locomotion 벤치마크에서의 실증적 성능 향상이 뚜렷하다.