BAPO: Stabilisierung von Off-Policy Reinforcement Learning für LLMs durch Balanced Policy Optimization mit adaptivem Clipping

papers.abstract

Reinforcement Learning (RL) hat sich kürzlich als zentrales Paradigma für die Ausrichtung und Stärkung großer Sprachmodelle (LLMs) etabliert. Die Anwendung von RL in Off-Policy-Settings – bei denen veraltete Daten aus früheren Policies für das Training verwendet werden – verbessert zwar die Stichprobeneffizienz, bleibt jedoch herausfordernd: Die Policy-Entropie sinkt stark, die Optimierung wird oft instabil und kann sogar zusammenbrechen. Durch theoretische und empirische Analysen identifizieren wir zwei zentrale Erkenntnisse: (i) ein Ungleichgewicht in der Optimierung, bei dem Proben mit negativem Vorteil den Policy-Gradienten dominieren, nützliche Verhaltensweisen unterdrücken und das Risiko von Gradientenexplosionen erhöhen; und (ii) die abgeleitete Entropie-Clipping-Regel, die zeigt, dass der feste Clipping-Mechanismus in PPO-ähnlichen Zielen systematisch Entropie-erhöhende Updates blockiert und dadurch die Policy auf Kosten der Exploration in Richtung Überausbeutung treibt. Aufbauend auf diesen Erkenntnissen schlagen wir BAlanced Policy Optimization with Adaptive Clipping (BAPO) vor, eine einfache, aber effektive Methode, die Clipping-Grenzen dynamisch anpasst, um positive und negative Beiträge adaptiv auszugleichen, die Entropie zu bewahren und die RL-Optimierung zu stabilisieren. In verschiedenen Off-Policy-Szenarien – einschließlich Sample-Replay und partiellen Rollouts – erreicht BAPO schnelles, stabiles und dateneffizientes Training. Auf den AIME-2024- und AIME-2025-Benchmarks übertrifft unser 7B-BAPO-Modell Open-Source-Gegenstücke wie SkyWork-OR1-7B, während unser 32B-BAPO-Modell nicht nur state-of-the-art-Ergebnisse unter Modellen gleicher Größe erzielt, sondern auch führende proprietäre Systeme wie o3-mini und Gemini-2.5-Flash-Thinking übertrifft.

English

Reinforcement learning (RL) has recently become the core paradigm for aligning and strengthening large language models (LLMs). Yet, applying RL in off-policy settings--where stale data from past policies are used for training--improves sample efficiency, but remains challenging: policy entropy declines sharply, optimization often becomes unstable and may even collapse. Through theoretical and empirical analysis, we identify two key insights: (i) an imbalance in optimization, where negative-advantage samples dominate the policy gradient, suppressing useful behaviors and risking gradient explosions; and (ii) the derived Entropy-Clip Rule, which reveals that the fixed clipping mechanism in PPO-like objectives systematically blocks entropy-increasing updates, thereby driving the policy toward over-exploitation at the expense of exploration. Building on these insights, we propose BAlanced Policy Optimization with Adaptive Clipping (BAPO), a simple yet effective method that dynamically adjusts clipping bounds to adaptively re-balance positive and negative contributions, preserve entropy, and stabilize RL optimization. Across diverse off-policy scenarios--including sample replay and partial rollout--BAPO achieves fast, stable, and data-efficient training. On AIME 2024 and AIME 2025 benchmarks, our 7B BAPO model surpasses open-source counterparts such as SkyWork-OR1-7B, while our 32B BAPO model not only achieves state-of-the-art results among models of the same scale but also outperforms leading proprietary systems like o3-mini and Gemini-2.5-Flash-Thinking.

BAPO: Stabilisierung von Off-Policy Reinforcement Learning für LLMs durch Balanced Policy Optimization mit adaptivem Clipping

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

papers.abstract

Support