BroRL: 拡張された探索による強化学習のスケーリング

要旨

検証可能な報酬を用いた強化学習（Reinforcement Learning with Verifiable Rewards, RLVR）は、大規模言語モデルにおける複雑な推論能力を引き出すための重要な要素として注目を集めている。最近の研究であるProRLは、訓練ステップ数を増やすことで強化学習のスケーリングに有望な成果を示した。しかし、数千ステップを超えると性能が頭打ちとなり、追加の訓練に計算リソースを割り当てても明らかな収穫逓減が生じる。本研究では、強化学習のスケーリングに対する補完的なパラダイムとして、BroRLを提案する。これは、各サンプルあたりのロールアウト数を数百に増やし、探索を徹底的に拡大（Broaden）することで、ProRLで観察された飽和点を超えた継続的な性能向上を実現するものである。我々のアプローチは、確率質量の変化率を特徴付けるための物質収支方程式の分析に基づいており、強化学習プロセス中における正しいトークンと誤ったトークンの確率質量の変化率を明らかにする。1ステップ強化学習の仮定の下では、サンプリングされたロールアウトトークンは常に正しい質量の拡大に寄与する一方、ロールアウト外の未サンプルトークンはその分布と正味の報酬バランスに応じて増減をもたらす可能性がある。重要な点として、サンプルあたりのロールアウト数Nが増加するにつれて、未サンプル項の影響が減少し、全体として正しい質量の拡大が保証される。理論分析を検証するため、より緩和された条件下でシミュレーションを行い、十分に大きなロールアウトサイズN（十分な探索に対応）が全ての正しいトークンの確率質量の増加を保証することを確認した。実験的には、BroRLは3,000ステップのProRL訓練後に飽和したモデルを復活させ、堅牢かつ継続的な改善を示し、1.5Bモデルにおいて多様なベンチマークで最先端の結果を達成した。

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.

BroRL: 拡張された探索による強化学習のスケーリング

BroRL: Scaling Reinforcement Learning via Broadened Exploration

要旨

Support