BAPO：適応クリッピングによるバランスドポリシー最適化を用いたLLMのためのオフポリシー強化学習の安定化

要旨

強化学習（Reinforcement Learning, RL）は、最近、大規模言語モデル（Large Language Models, LLMs）の整合性と強化のための中心的なパラダイムとなっている。しかし、オフポリシー設定（過去のポリシーから得られた古いデータをトレーニングに使用する）においてRLを適用することは、サンプル効率を向上させる一方で、依然として課題が多い。具体的には、ポリシーのエントロピーが急激に低下し、最適化が不安定化するか、場合によっては崩壊する可能性がある。理論的および実証的分析を通じて、我々は二つの重要な洞察を得た：(i) 最適化の不均衡、すなわち負のアドバンテージサンプルがポリシー勾配を支配し、有用な行動を抑制し、勾配爆発のリスクを引き起こすこと、(ii) 導出されたエントロピークリップルール、すなわちPPO（Proximal Policy Optimization）のような目的関数における固定クリッピングメカニズムが、エントロピーを増加させる更新を体系的にブロックし、探索を犠牲にして過剰な活用を促すことである。これらの洞察に基づき、我々はBAlanced Policy Optimization with Adaptive Clipping（BAPO）を提案する。これは、クリッピング範囲を動的に調整して正負の寄与を適応的に再バランスし、エントロピーを維持し、RLの最適化を安定化するシンプルかつ効果的な手法である。サンプルリプレイや部分的なロールアウトを含む多様なオフポリシーシナリオにおいて、BAPOは迅速で安定したデータ効率的なトレーニングを実現する。AIME 2024およびAIME 2025ベンチマークにおいて、我々の7B BAPOモデルはSkyWork-OR1-7Bなどのオープンソースの競合モデルを凌駕し、32B BAPOモデルは同スケールのモデルの中で最先端の結果を達成するだけでなく、o3-miniやGemini-2.5-Flash-Thinkingなどの主要なプロプライエタリシステムをも上回る性能を示した。

English

Reinforcement learning (RL) has recently become the core paradigm for aligning and strengthening large language models (LLMs). Yet, applying RL in off-policy settings--where stale data from past policies are used for training--improves sample efficiency, but remains challenging: policy entropy declines sharply, optimization often becomes unstable and may even collapse. Through theoretical and empirical analysis, we identify two key insights: (i) an imbalance in optimization, where negative-advantage samples dominate the policy gradient, suppressing useful behaviors and risking gradient explosions; and (ii) the derived Entropy-Clip Rule, which reveals that the fixed clipping mechanism in PPO-like objectives systematically blocks entropy-increasing updates, thereby driving the policy toward over-exploitation at the expense of exploration. Building on these insights, we propose BAlanced Policy Optimization with Adaptive Clipping (BAPO), a simple yet effective method that dynamically adjusts clipping bounds to adaptively re-balance positive and negative contributions, preserve entropy, and stabilize RL optimization. Across diverse off-policy scenarios--including sample replay and partial rollout--BAPO achieves fast, stable, and data-efficient training. On AIME 2024 and AIME 2025 benchmarks, our 7B BAPO model surpasses open-source counterparts such as SkyWork-OR1-7B, while our 32B BAPO model not only achieves state-of-the-art results among models of the same scale but also outperforms leading proprietary systems like o3-mini and Gemini-2.5-Flash-Thinking.

BAPO：適応クリッピングによるバランスドポリシー最適化を用いたLLMのためのオフポリシー強化学習の安定化

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

要旨

Support