변분 학습을 통한 RLVR 파라미터 탐색

초록

탐색은 오랫동안 강화 학습 연구의 핵심 주제였다. 최근에는 탐색이 LLM 강화 학습 레시피에서도 중요한 요소이며 다운스트림 성능에 큰 영향을 미칠 수 있다는 증거가 늘어나고 있다. 많은 기존 방법들은 예를 들어 온도 스케일링을 사용하여 행동 공간에서 탐색을 제어한다. 그러나 이러한 방법들은 토큰의 순서를 바꿀 수 없고 출력 분포의 분산에만 영향을 줄 뿐이다. 이는 탐색을 제한하고 발산이나 훈련 정체를 초래할 수 있다. 본 연구에서는 서로 다른 롤아웃을 각각 탐색할 수 있는 사후 분포에서 정책들을 샘플링하여 롤아웃을 생성하는 파라미터 공간 탐색을 조사한다. 다양성이 낮거나 높은 정책을 샘플링하는 것은 탐색에 대한 보완적인 제어 수단이 된다. 우리는 다양한 샘플링 전략과 롤아웃 그룹화를 사용하는 Perturbed Parameter Policy Optimization(3PO)라는 방법군을 소개한다. OLMo-3-1025-7B 및 Qwen2.5-Math-7B를 대상으로 한 수학적 추론 및 코드 생성 작업 실험은 이러한 접근 방식이 거의 동일한 FLOPs 비용으로 표준 GRPO보다 평균 다운스트림 성능을 일관되게 향상시킴을 보여준다. 또한 여러 파라미터 샘플을 사용하면 훈련 중 GRPO 및 행동 공간 기준 방법보다 어드밴티지가 0인 그룹과 형식이 잘못되었거나 부정확한 롤아웃이 지속적으로 더 적게 생성된다. 전반적으로 본 연구는 파라미터 공간 탐색이 LLM 강화 학습을 개선할 수 있다는 증거를 제시한다.

English

Exploration has been a focus of reinforcement learning research for a long time. Recently, there has been growing evidence that it is also an important ingredient in LLM reinforcement learning recipes that can significantly impact downstream performance. Many existing methods control exploration in the action-space, for example, using temperature scaling. However, these methods cannot reorder tokens but only influence the variance in the output distribution. This limits exploration and can lead to divergence or stalled training. Here, we investigate parameter-space exploration, where rollouts are generated by sampling different policies from a posterior that may each explore different rollouts. Sampling less or more diverse policies is then a complementary control lever over exploration. We introduce a family of methods called Perturbed Parameter Policy Optimization (3PO) which use different sampling strategies and different rollout grouping for reward estimation. Experiments on OLMo-3-1025-7B and Qwen2.5-Math-7B across mathematical reasoning and code generation tasks show that these approaches consistently improve average downstream performance over standard GRPO at a near-identical FLOPs cost. Moreover, using multiple parameter samples consistently produces fewer zero-advantage groups and malformed or incorrect rollouts during training than GRPO and action-space baselines. Overall, our work presents evidence that parameter-space exploration can improve reinforcement learning for LLMs.