Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards

Motivation

• Known: RLVR는 pass@1과 같은 샘플링 효율은 개선하지만 pass@256과 같은 고예산 추론 능력 경계는 크게 확장하지 못하며, 기존 정답 궤적을 재가중치화하는 경향이 있음이 보고되어 왔다. Action-space noise(temperature, nucleus sampling), objective-level regularization(entropy bonus, pass@k objective), data augmentation 등 exploration을 촉진하는 여러 접근이 존재한다.
• Gap: 기존 action-space noise는 토큰 단위로 국소적이고 시간적으로 비상관적이어서 장기 CoT(Chain-of-Thought) 추론의 일관성을 해치며, objective-level regularization은 proxy 신호에 의존하고, data augmentation은 추가 연산·큐레이션·외부 감독을 요구한다. 파라미터 공간 노이즈를 RLVR에 체계적으로 적용한 연구가 아직 없었다.
• Why: rollout policy의 파라미터를 교란해 궤적 전체에 걸쳐 시간적으로 일관된 exploration을 유도할 수 있다면, 장기 CoT 추론에 적합하면서도 OOD(out-of-distribution) 일반화와 고예산 pass@k 성능을 동시에 개선할 수 있어, RLVR의 근본적 한계인 exploration ceiling을 해소하는 실용적 방법이 될 수 있다.
• Approach: rollout 생성에 사용하는 정책 모델의 파라미터에 직접 노이즈를 주입해 perturbed policy를 만들고, clean policy는 통상적으로 업데이트하는 방식으로 시간적으로 일관된 trajectory-level exploration을 유도한다. 이로 인해 발생하는 off-policy 불일치는 truncated importance sampling(TIS)으로 안정화하고, semantic diversity와 모델 self-certainty 기반의 경량 dynamic noise scheduler로 노이즈 크기를 실시간 조정한다.

Achievement

Figure 1. Comparison of reasoning capability boundaries across different RLVR paradigms. (1) Standard GRPO-trained model

1. Exploration 회복 및 확장: PSN-GRPO는 GRPO 대비 semantic diversity와 operation diversity를 회복·증대시키고, high-budget pass@k(예: k=256)를 크게 개선하며 Pass@k, RLVR-Decomposed 같은 exploration 지향 기법들을 능가한다.
2. 모델 범용성 검증: Qwen2.5, Qwen3, Llama-3.1 등 여러 모델 계열에서 효과를 확인했다.
3. OOD 강건성: 학습 분포 밖의 과학 및 코딩 벤치마크에서도 견고한 성능을 보인다.
4. 정성적 새로움 발견: 원래 모델이 풀지 못했던 문제에 대해 새로운 해법 관점을 발견함을 정성 분석으로 보였다.

How

Figure 2. Overview of the PSN-RLVR framework compared to

• GRPO의 objective를 기반으로 하되, rollout 생성 시 사용하는 정책 모델 πθ의 파라미터에 노이즈를 주입해 perturbed model π~θ를 구성 (Figure 2)
• clean policy πθ는 기존 방식대로 advantage 기반으로 업데이트하되, perturbed rollout으로 인한 off-policy 불일치는 truncated importance sampling(TIS)으로 보정
• 노이즈 스케일은 KL 기반의 값비싼 추정 대신, semantic diversity와 model self-certainty를 결합한 surrogate 신호를 사용하는 경량 실시간 adaptive noise scheduler로 동적으로 조정
• 노이즈 주입 위치, 노이즈 크기 스케일링, 모델 간 강건성, action-space noise와의 비교, OOD 거동, 다른 exploration 기법과의 조합 가능성 등 PSN 설계 공간을 체계적으로 실험(ablation)으로 검증

Originality

• 기존 RLVR exploration 연구가 action-space noise, objective-level regularization, data augmentation 세 범주에 집중된 것과 달리, 전통적 RL에서 제안된 Parameter-Space Noise(PSN) 개념을 RLVR 맥락에 최초로 체계적으로 적용
• 파라미터 교란이 하나의 rollout 전체에 걸쳐 일관되게 작용해 장기 CoT에 적합한 trajectory-level exploration을 유도한다는 통찰을 제시
• perturbed rollout의 off-policy 특성을 다루기 위해 truncated importance sampling을 도입하고, 비용이 큰 KL 기반 노이즈 제어 대신 semantic diversity와 self-certainty 기반의 경량 surrogate scheduler를 설계

Limitation & Further Study

• 발췌된 부분만으로는 노이즈 주입 위치(레이어), 노이즈 크기 스케줄링의 구체적 하이퍼파라미터 민감도와 대규모 모델로의 확장성(예: 초대형 LLM)에 대한 논의가 제한적으로 보임
• truncated importance sampling이 도입하는 편향(bias)-분산(variance) trade-off에 대한 이론적 분석이 충분히 제시되지 않았을 가능성
• semantic diversity와 self-certainty를 결합한 surrogate가 실제 KL 발산을 얼마나 잘 근사하는지에 대한 정량적 검증이 추가로 필요
• 향후 연구로 다른 RL 알고리즘(PPO 외 다른 정책 최적화 기법)이나 더 큰 규모의 모델, 실제 응용 도메인(코딩, 과학적 추론 이외)으로의 일반화 검증이 요구됨

Evaluation

총평: RLVR의 exploration ceiling 문제를 파라미터 공간 노이즈라는 새로운 각도에서 접근해 실용적이고 경량화된 해법(TIS, adaptive noise scheduler)을 제시했으며, 다양한 모델과 OOD 벤치마크에서 일관된 개선을 보여 학술적·실용적 가치가 높은 연구로 판단된다.