BAPO: Estabilización del Aprendizaje por Refuerzo Fuera de Política para LLMs mediante Optimización de Política Equilibrada con Recorte Adaptativo

Resumen

El aprendizaje por refuerzo (RL, por sus siglas en inglés) se ha convertido recientemente en el paradigma central para alinear y fortalecer los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Sin embargo, aplicar RL en entornos fuera de política (off-policy), donde se utilizan datos obsoletos de políticas pasadas para el entrenamiento, mejora la eficiencia de las muestras, pero sigue siendo un desafío: la entropía de la política disminuye drásticamente, la optimización a menudo se vuelve inestable e incluso puede colapsar. A través de análisis teóricos y empíricos, identificamos dos ideas clave: (i) un desequilibrio en la optimización, donde las muestras con ventaja negativa dominan el gradiente de la política, suprimiendo comportamientos útiles y arriesgando explosiones de gradiente; y (ii) la Regla de Recorte de Entropía derivada, que revela que el mecanismo de recorte fijo en objetivos similares a PPO bloquea sistemáticamente las actualizaciones que aumentan la entropía, llevando así a la política hacia la sobreexplotación a expensas de la exploración. Basándonos en estas ideas, proponemos la Optimización de Política Equilibrada con Recorte Adaptativo (BAPO, por sus siglas en inglés), un método simple pero efectivo que ajusta dinámicamente los límites de recorte para reequilibrar de manera adaptativa las contribuciones positivas y negativas, preservar la entropía y estabilizar la optimización de RL. En diversos escenarios fuera de política, incluida la repetición de muestras y el despliegue parcial, BAPO logra un entrenamiento rápido, estable y eficiente en datos. En los benchmarks de AIME 2024 y AIME 2025, nuestro modelo BAPO de 7B supera a contrapartes de código abierto como SkyWork-OR1-7B, mientras que nuestro modelo BAPO de 32B no solo alcanza resultados de vanguardia entre modelos de la misma escala, sino que también supera a sistemas propietarios líderes como o3-mini y Gemini-2.5-Flash-Thinking.

English

Reinforcement learning (RL) has recently become the core paradigm for aligning and strengthening large language models (LLMs). Yet, applying RL in off-policy settings--where stale data from past policies are used for training--improves sample efficiency, but remains challenging: policy entropy declines sharply, optimization often becomes unstable and may even collapse. Through theoretical and empirical analysis, we identify two key insights: (i) an imbalance in optimization, where negative-advantage samples dominate the policy gradient, suppressing useful behaviors and risking gradient explosions; and (ii) the derived Entropy-Clip Rule, which reveals that the fixed clipping mechanism in PPO-like objectives systematically blocks entropy-increasing updates, thereby driving the policy toward over-exploitation at the expense of exploration. Building on these insights, we propose BAlanced Policy Optimization with Adaptive Clipping (BAPO), a simple yet effective method that dynamically adjusts clipping bounds to adaptively re-balance positive and negative contributions, preserve entropy, and stabilize RL optimization. Across diverse off-policy scenarios--including sample replay and partial rollout--BAPO achieves fast, stable, and data-efficient training. On AIME 2024 and AIME 2025 benchmarks, our 7B BAPO model surpasses open-source counterparts such as SkyWork-OR1-7B, while our 32B BAPO model not only achieves state-of-the-art results among models of the same scale but also outperforms leading proprietary systems like o3-mini and Gemini-2.5-Flash-Thinking.

BAPO: Estabilización del Aprendizaje por Refuerzo Fuera de Política para LLMs mediante Optimización de Política Equilibrada con Recorte Adaptativo

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

Resumen

Support