BAPO: Стабилизация обучения с подкреплением вне политики для крупных языковых моделей посредством сбалансированной оптимизации политики с адаптивным ограничением

Аннотация

Обучение с подкреплением (RL) в последнее время стало ключевой парадигмой для согласования и усиления больших языковых моделей (LLM). Однако применение RL в условиях off-policy — когда для обучения используются устаревшие данные из прошлых политик — повышает эффективность использования данных, но остается сложной задачей: энтропия политики резко снижается, оптимизация часто становится нестабильной и может даже разрушиться. Благодаря теоретическому и эмпирическому анализу мы выделяем два ключевых инсайта: (i) дисбаланс в оптимизации, где образцы с отрицательным преимуществом доминируют в градиенте политики, подавляя полезные поведения и рискуя вызвать взрыв градиентов; и (ii) выведенное правило Entropy-Clip, которое показывает, что фиксированный механизм отсечения в целях, подобных PPO, систематически блокирует обновления, увеличивающие энтропию, тем самым направляя политику к чрезмерной эксплуатации в ущерб исследованию. На основе этих инсайтов мы предлагаем BAlanced Policy Optimization with Adaptive Clipping (BAPO) — простой, но эффективный метод, который динамически регулирует границы отсечения для адаптивного перебалансирования положительных и отрицательных вкладов, сохранения энтропии и стабилизации оптимизации RL. В различных сценариях off-policy — включая повторное использование образцов и частичные прогоны — BAPO обеспечивает быстрое, стабильное и эффективное с точки зрения данных обучение. На бенчмарках AIME 2024 и AIME 2025 наша модель BAPO с 7B параметров превосходит открытые аналоги, такие как SkyWork-OR1-7B, а наша модель BAPO с 32B параметров не только достигает передовых результатов среди моделей того же масштаба, но и превосходит ведущие проприетарные системы, такие как o3-mini и Gemini-2.5-Flash-Thinking.

English

Reinforcement learning (RL) has recently become the core paradigm for aligning and strengthening large language models (LLMs). Yet, applying RL in off-policy settings--where stale data from past policies are used for training--improves sample efficiency, but remains challenging: policy entropy declines sharply, optimization often becomes unstable and may even collapse. Through theoretical and empirical analysis, we identify two key insights: (i) an imbalance in optimization, where negative-advantage samples dominate the policy gradient, suppressing useful behaviors and risking gradient explosions; and (ii) the derived Entropy-Clip Rule, which reveals that the fixed clipping mechanism in PPO-like objectives systematically blocks entropy-increasing updates, thereby driving the policy toward over-exploitation at the expense of exploration. Building on these insights, we propose BAlanced Policy Optimization with Adaptive Clipping (BAPO), a simple yet effective method that dynamically adjusts clipping bounds to adaptively re-balance positive and negative contributions, preserve entropy, and stabilize RL optimization. Across diverse off-policy scenarios--including sample replay and partial rollout--BAPO achieves fast, stable, and data-efficient training. On AIME 2024 and AIME 2025 benchmarks, our 7B BAPO model surpasses open-source counterparts such as SkyWork-OR1-7B, while our 32B BAPO model not only achieves state-of-the-art results among models of the same scale but also outperforms leading proprietary systems like o3-mini and Gemini-2.5-Flash-Thinking.

BAPO: Стабилизация обучения с подкреплением вне политики для крупных языковых моделей посредством сбалансированной оптимизации политики с адаптивным ограничением

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

Аннотация

Support