安定した強化学習のためのソフトグローバル制約としてのエントロピー比クリッピング

要旨

大規模言語モデルの事後学習は、強化学習に依存してモデルの能力とアライメント品質を向上させます。しかし、オフポリシー学習パラダイムは分布シフトを引き起こし、しばしばポリシーを信頼領域の外側に押し出し、ポリシーエントロピーの変動や不安定な勾配として現れる学習不安定性を招きます。PPO-Clipは重要度クリッピングを通じてこの問題を緩和しますが、行動のグローバルな分布シフトを見落としています。これらの課題に対処するため、我々は現在と過去のポリシー間のエントロピー比を新しいグローバル指標として提案します。この指標は更新過程におけるポリシー探索の相対的変化を効果的に定量化します。この指標に基づき、エントロピー比クリッピング（ERC）メカニズムを導入し、エントロピー比に双方向の制約を課します。これにより、グローバルな分布レベルでポリシー更新を安定化させ、PPO-clipが未サンプル行動の確率シフトを制御できない点を補完します。ERCをDAPOおよびGPPO強化学習アルゴリズムに統合し、複数のベンチマークで実験を行いました。その結果、ERCが一貫して性能を向上させることが示されました。

English

Large language model post-training relies on reinforcement learning to improve model capability and alignment quality. However, the off-policy training paradigm introduces distribution shift, which often pushes the policy beyond the trust region, leading to training instabilities manifested as fluctuations in policy entropy and unstable gradients. Although PPO-Clip mitigates this issue through importance clipping, it still overlooks the global distributional shift of actions. To address these challenges, we propose using the entropy ratio between the current and previous policies as a new global metric that effectively quantifies the relative change in policy exploration throughout updates. Building on this metric, we introduce an Entropy Ratio Clipping (ERC) mechanism that imposes bidirectional constraints on the entropy ratio. This stabilizes policy updates at the global distribution level and compensates for the inability of PPO-clip to regulate probability shifts of un-sampled actions. We integrate ERC into both DAPO and GPPO reinforcement learning algorithms. Experiments across multiple benchmarks show that ERC consistently improves performance.

安定した強化学習のためのソフトグローバル制約としてのエントロピー比クリッピング

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

要旨

Support