BroRL: Skalierung von Reinforcement Learning durch erweitertes Exploration

BroRL: Scaling Reinforcement Learning via Broadened Exploration

October 1, 2025

papers.authors: Jian Hu, Mingjie Liu, Ximing Lu, Fang Wu, Zaid Harchaoui, Shizhe Diao, Yejin Choi, Pavlo Molchanov, Jun Yang, Jan Kautz, Yi Dong

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als ein Schlüsselelement für die Entfaltung komplexer Denkfähigkeiten in großen Sprachmodellen erwiesen. Jüngste Arbeiten wie ProRL haben vielversprechende Ansätze zur Skalierung von RL durch die Erhöhung der Anzahl der Trainingsschritte gezeigt. Allerdings stagniert die Leistung nach Tausenden von Schritten, wobei deutlich abnehmende Erträge bei der Zuweisung von mehr Rechenleistung für zusätzliches Training zu beobachten sind. In dieser Arbeit untersuchen wir ein komplementäres Paradigma zur Skalierung von RL, BroRL, bei dem die Anzahl der Rollouts pro Beispiel auf Hunderte erhöht wird, um die Exploration umfassend zu erweitern. Dies führt zu kontinuierlichen Leistungssteigerungen über den Sättigungspunkt hinaus, der bei ProRL bei der Skalierung der Anzahl der Trainingsschritte beobachtet wurde. Unser Ansatz wird durch eine Analyse der Massenbilanzgleichung motiviert, die es uns ermöglicht, die Änderungsrate der Wahrscheinlichkeitsmasse für korrekte und inkorrekte Tokens während des Verstärkungsprozesses zu charakterisieren. Wir zeigen, dass unter der Annahme eines einstufigen RL die gesampelten Rollout-Tokens immer zur Expansion der korrekten Masse beitragen, während nicht gesampelte Tokens außerhalb der Rollouts je nach ihrer Verteilung und der Netto-Belohnungsbilanz zu Gewinnen oder Verlusten führen können. Wichtig ist, dass mit zunehmender Anzahl von Rollouts pro Beispiel N der Einfluss der nicht gesampelten Terme abnimmt, was eine insgesamt positive Expansion der korrekten Masse sicherstellt. Um unsere theoretische Analyse zu validieren, führen wir Simulationen unter weniger restriktiven Bedingungen durch und stellen fest, dass eine ausreichend große Rollout-Größe N – entsprechend einer umfassenden Exploration – eine Zunahme der Wahrscheinlichkeitsmasse aller korrekten Tokens garantiert. Empirisch zeigt BroRL, dass es Modelle, die nach 3.000 ProRL-Trainingsschritten gesättigt sind, wiederbelebt und eine robuste, kontinuierliche Verbesserung demonstriert, wodurch state-of-the-art Ergebnisse für das 1,5B-Modell über diverse Benchmarks hinweg erzielt werden.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.