BroRL: Escalonando o Aprendizado por Reforço através de Exploração Ampliada

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um componente essencial para desbloquear capacidades de raciocínio complexo em grandes modelos de linguagem. Trabalhos recentes, como o ProRL, mostraram potencial ao escalar o RL aumentando o número de etapas de treinamento. No entanto, o desempenho atinge um platô após milhares de etapas, com retornos claramente decrescentes ao alocar mais computação para treinamento adicional. Neste trabalho, investigamos um paradigma complementar para escalar o RL, o BroRL, que aumenta o número de rollouts por exemplo para centenas, a fim de explorar exaustivamente e ampliar a exploração, o que resulta em ganhos contínuos de desempenho além do ponto de saturação observado no ProRL ao escalar o número de etapas de treinamento. Nossa abordagem é motivada por uma análise de equação de balanço de massa, permitindo-nos caracterizar a taxa de mudança na massa de probabilidade para tokens corretos e incorretos durante o processo de reforço. Mostramos que, sob uma suposição de RL de uma etapa, os tokens amostrados em rollouts sempre contribuem para a expansão da massa correta, enquanto tokens não amostrados fora dos rollouts podem levar a ganhos ou perdas, dependendo de sua distribuição e do balanço líquido de recompensas. Importante, à medida que o número de rollouts por exemplo N aumenta, o efeito dos termos não amostrados diminui, garantindo a expansão geral da massa correta. Para validar nossa análise teórica, conduzimos simulações sob condições mais relaxadas e descobrimos que um tamanho de rollout suficientemente grande N—correspondendo a uma exploração ampla—garante um aumento na massa de probabilidade de todos os tokens corretos. Empiricamente, o BroRL revive modelos saturados após 3 mil etapas de treinamento ProRL e demonstra melhorias contínuas e robustas, alcançando resultados de ponta para o modelo de 1,5B em diversos benchmarks.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.

BroRL: Escalonando o Aprendizado por Reforço através de Exploração Ampliada

BroRL: Scaling Reinforcement Learning via Broadened Exploration

Resumo

Support