BroRL: Schaalvergroting van Reinforcement Learning via Verbreed Exploratie

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is naar voren gekomen als een cruciaal element voor het ontgrendelen van complexe redeneervaardigheden in grote taalmodelen. Recent werk, ProRL, heeft belofte getoond in het opschalen van RL door het aantal trainingsstappen te verhogen. Echter, de prestaties bereiken een plateau na duizenden stappen, met duidelijk afnemende rendementen door meer rekenkracht toe te wijzen aan extra training. In dit werk onderzoeken we een complementair paradigma voor het opschalen van RL, BroRL, door het aantal rollouts per voorbeeld te verhogen tot honderden om uitgebreid te exploreren, wat continue prestatieverbeteringen oplevert voorbij het verzadigingspunt dat wordt waargenomen in ProRL bij het opschalen van het aantal trainingsstappen. Onze aanpak is gemotiveerd door een analyse van een massabalansvergelijking, waardoor we de veranderingssnelheid van de waarschijnlijkheidsmassa voor correcte en incorrecte tokens tijdens het reinforcementproces kunnen karakteriseren. We laten zien dat onder een aanname van één-stap RL, gesample rollout tokens altijd bijdragen aan de uitbreiding van correcte massa, terwijl niet-gesample tokens buiten rollouts kunnen leiden tot winst of verlies, afhankelijk van hun verdeling en de netto beloningsbalans. Belangrijk is dat naarmate het aantal rollouts per voorbeeld N toeneemt, het effect van niet-gesample termen afneemt, wat een algehele uitbreiding van de correcte massa garandeert. Om onze theoretische analyse te valideren, voeren we simulaties uit onder meer ontspannen voorwaarden en vinden we dat een voldoende grote rolloutgrootte N – wat overeenkomt met uitgebreide exploratie – een toename in de waarschijnlijkheidsmassa van alle correcte tokens garandeert. Empirisch gezien brengt BroRL modellen die verzadigd zijn na 3K ProRL-trainingsstappen weer tot leven en toont het robuuste, continue verbeteringen, wat resulteert in state-of-the-art resultaten voor het 1.5B-model op diverse benchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.

BroRL: Schaalvergroting van Reinforcement Learning via Verbreed Exploratie

BroRL: Scaling Reinforcement Learning via Broadened Exploration

Samenvatting

Support