変分学習によるRLVRのパラメータ探索

要旨

探索は長い間、強化学習研究の焦点となってきた。最近では、探索がLLMの強化学習レシピにおいても重要な要素であり、下流のパフォーマンスに大きな影響を与えるという証拠が増えている。既存の多くの手法は、例えば温度スケーリングを用いて行動空間で探索を制御する。しかし、これらの手法はトークンの順序を並べ替えることはできず、出力分布の分散に影響を与えるだけである。これにより探索が制限され、発散やトレーニングの停滞を引き起こす可能性がある。ここでは、パラメータ空間探索を調査する。これは、それぞれが異なるロールアウトを探索し得る事後分布から異なるポリシーをサンプリングしてロールアウトを生成する手法である。多様性の低いまたは高いポリシーをサンプリングすることは、探索に対する補完的な制御レバーとなる。我々は、パラメータ摂動ポリシー最適化（Perturbed Parameter Policy Optimization, 3PO）と呼ばれる手法群を導入する。この手法群は、報酬推定のために異なるサンプリング戦略と異なるロールアウトのグループ化を用いる。OLMo-3-1025-7BとQwen2.5-Math-7Bを用いた数学的推論およびコード生成タスクにおける実験は、これらのアプローチがほぼ同一のFLOPsコストで標準的なGRPOよりも平均下流パフォーマンスを一貫して向上させることを示している。さらに、複数のパラメータサンプルを使用することで、トレーニング中にGRPOや行動空間ベースラインよりも、ゼロ・アドバンテージグループや不正なまたは誤ったロールアウトが一貫して少なくなる。全体として、我々の研究は、パラメータ空間探索がLLMの強化学習を改善できるという証拠を提示するものである。

English

Exploration has been a focus of reinforcement learning research for a long time. Recently, there has been growing evidence that it is also an important ingredient in LLM reinforcement learning recipes that can significantly impact downstream performance. Many existing methods control exploration in the action-space, for example, using temperature scaling. However, these methods cannot reorder tokens but only influence the variance in the output distribution. This limits exploration and can lead to divergence or stalled training. Here, we investigate parameter-space exploration, where rollouts are generated by sampling different policies from a posterior that may each explore different rollouts. Sampling less or more diverse policies is then a complementary control lever over exploration. We introduce a family of methods called Perturbed Parameter Policy Optimization (3PO) which use different sampling strategies and different rollout grouping for reward estimation. Experiments on OLMo-3-1025-7B and Qwen2.5-Math-7B across mathematical reasoning and code generation tasks show that these approaches consistently improve average downstream performance over standard GRPO at a near-identical FLOPs cost. Moreover, using multiple parameter samples consistently produces fewer zero-advantage groups and malformed or incorrect rollouts during training than GRPO and action-space baselines. Overall, our work presents evidence that parameter-space exploration can improve reinforcement learning for LLMs.