BAPO: Stabilisatie van Off-Policy Reinforcement Learning voor LLM's via Gebalanceerd Beleidsoptimalisatie met Adaptief Clippen

Samenvatting

Reinforcement learning (RL) is recentelijk uitgegroeid tot het kernparadigma voor het uitlijnen en versterken van grote taalmodelen (LLMs). Toch blijft het toepassen van RL in off-policy settings—waarbij verouderde gegevens van eerdere beleidsregels worden gebruikt voor training—de sample-efficiëntie verbeteren, maar ook uitdagend: de entropie van het beleid neemt sterk af, de optimalisatie wordt vaak instabiel en kan zelfs instorten. Door theoretische en empirische analyse identificeren we twee belangrijke inzichten: (i) een onbalans in de optimalisatie, waarbij negatieve-voordeelmonsters de beleidsgradiënt domineren, nuttig gedrag onderdrukken en het risico op gradiëntexplosies vergroten; en (ii) de afgeleide Entropie-Clip Regel, die onthult dat het vaste clippingmechanisme in PPO-achtige doelen systematisch entropie-verhogende updates blokkeert, waardoor het beleid wordt gedreven naar over-exploitatie ten koste van exploratie. Op basis van deze inzichten stellen we BAlanced Policy Optimization with Adaptive Clipping (BAPO) voor, een eenvoudige maar effectieve methode die dynamisch clippinggrenzen aanpast om positieve en negatieve bijdragen adaptief in balans te brengen, entropie te behouden en RL-optimalisatie te stabiliseren. In diverse off-policy scenario's—inclusief sample replay en gedeeltelijke rollouts—bereikt BAPO snelle, stabiele en data-efficiënte training. Op de AIME 2024 en AIME 2025 benchmarks overtreft ons 7B BAPO-model open-source tegenhangers zoals SkyWork-OR1-7B, terwijl ons 32B BAPO-model niet alleen state-of-the-art resultaten behaalt onder modellen van dezelfde schaal, maar ook toonaangevende propriëtaire systemen zoals o3-mini en Gemini-2.5-Flash-Thinking overtreft.

English

Reinforcement learning (RL) has recently become the core paradigm for aligning and strengthening large language models (LLMs). Yet, applying RL in off-policy settings--where stale data from past policies are used for training--improves sample efficiency, but remains challenging: policy entropy declines sharply, optimization often becomes unstable and may even collapse. Through theoretical and empirical analysis, we identify two key insights: (i) an imbalance in optimization, where negative-advantage samples dominate the policy gradient, suppressing useful behaviors and risking gradient explosions; and (ii) the derived Entropy-Clip Rule, which reveals that the fixed clipping mechanism in PPO-like objectives systematically blocks entropy-increasing updates, thereby driving the policy toward over-exploitation at the expense of exploration. Building on these insights, we propose BAlanced Policy Optimization with Adaptive Clipping (BAPO), a simple yet effective method that dynamically adjusts clipping bounds to adaptively re-balance positive and negative contributions, preserve entropy, and stabilize RL optimization. Across diverse off-policy scenarios--including sample replay and partial rollout--BAPO achieves fast, stable, and data-efficient training. On AIME 2024 and AIME 2025 benchmarks, our 7B BAPO model surpasses open-source counterparts such as SkyWork-OR1-7B, while our 32B BAPO model not only achieves state-of-the-art results among models of the same scale but also outperforms leading proprietary systems like o3-mini and Gemini-2.5-Flash-Thinking.

BAPO: Stabilisatie van Off-Policy Reinforcement Learning voor LLM's via Gebalanceerd Beleidsoptimalisatie met Adaptief Clippen

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

Samenvatting

Support