BroRL: Масштабирование обучения с подкреплением через расширенное исследование

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) стало ключевым элементом для раскрытия сложных способностей к рассуждению в крупных языковых моделях. Недавняя работа ProRL показала перспективность масштабирования RL за счет увеличения количества шагов обучения. Однако производительность выходит на плато после тысяч шагов, с явным уменьшением отдачи от выделения дополнительных вычислительных ресурсов на обучение. В данной работе мы исследуем дополнительную парадигму масштабирования RL, BroRL, увеличивая количество прогонов на каждый пример до сотен для исчерпывающего расширения исследования, что приводит к непрерывному улучшению производительности за пределами точки насыщения, наблюдаемой в ProRL при масштабировании количества шагов обучения. Наш подход мотивирован анализом уравнения баланса масс, позволяющим охарактеризовать скорость изменения вероятностной массы для правильных и неправильных токенов в процессе подкрепления. Мы показываем, что в предположении одношагового RL токены, полученные в результате прогонов, всегда способствуют расширению правильной массы, тогда как токены вне прогонов могут приводить к увеличению или уменьшению в зависимости от их распределения и баланса наград. Важно, что с увеличением количества прогонов на пример N влияние непрогонных токенов уменьшается, обеспечивая общее расширение правильной массы. Для проверки нашего теоретического анализа мы проводим симуляции в более мягких условиях и обнаруживаем, что достаточно большой размер прогона N, соответствующий обширному исследованию, гарантирует увеличение вероятностной массы всех правильных токенов. Эмпирически BroRL оживляет модели, достигшие насыщения после 3K шагов обучения ProRL, и демонстрирует устойчивое, непрерывное улучшение, достигая передовых результатов для модели на 1,5 млрд параметров на различных бенчмарках.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL, BroR-Lincreasing the number of rollouts per example to hundreds to exhaustively Broaden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens always contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example N increases, the effect of unsampled terms diminishes, ensuring overall correct-mass expansion. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size N-corresponding to ample exploration-guarantees an increase in the probability mass of all correct tokens. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving state-of-the-art results for the 1.5B model across diverse benchmarks.

BroRL: Масштабирование обучения с подкреплением через расширенное исследование

BroRL: Scaling Reinforcement Learning via Broadened Exploration

Аннотация

Support