BroRL: Scalabilità dell'Apprendimento per Rinforzo tramite Esplorazione Ampliata

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) è emerso come un ingrediente chiave per sbloccare capacità di ragionamento complesso nei grandi modelli linguistici. Il recente lavoro ProRL ha mostrato promettenti risultati nel ridimensionamento del RL aumentando il numero di passi di addestramento. Tuttavia, le prestazioni raggiungono un plateau dopo migliaia di passi, con evidenti rendimenti decrescenti dall'allocazione di ulteriori risorse computazionali per l'addestramento. In questo lavoro, esploriamo un paradigma complementare per il ridimensionamento del RL, BroRL, aumentando il numero di rollout per esempio a centinaia per ampliare in modo esaustivo l'esplorazione, ottenendo miglioramenti continui delle prestazioni oltre il punto di saturazione osservato in ProRL quando si scala il numero di passi di addestramento. Il nostro approccio è motivato da un'analisi dell'equazione di bilancio di massa che ci permette di caratterizzare il tasso di cambiamento nella massa di probabilità per token corretti e errati durante il processo di rinforzo. Dimostriamo che, sotto un'ipotesi di RL a un passo, i token campionati nei rollout contribuiscono sempre all'espansione della massa corretta, mentre i token non campionati al di fuori dei rollout possono portare a guadagni o perdite a seconda della loro distribuzione e del bilancio netto delle ricompense. Importante, all'aumentare del numero di rollout per esempio N, l'effetto dei termini non campionati diminuisce, garantendo un'espansione complessiva della massa corretta. Per validare la nostra analisi teorica, conduciamo simulazioni in condizioni più rilassate e troviamo che una dimensione sufficientemente grande del rollout N - corrispondente a un'ampia esplorazione - garantisce un aumento della massa di probabilità di tutti i token corretti. Empiricamente, BroRL rivitalizza i modelli saturati dopo 3K passi di addestramento ProRL e dimostra un miglioramento robusto e continuo, raggiungendo risultati all'avanguardia per il modello da 1.5B su diversi benchmark.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.

BroRL: Scalabilità dell'Apprendimento per Rinforzo tramite Esplorazione Ampliata

BroRL: Scaling Reinforcement Learning via Broadened Exploration

Abstract

Support