LLM強化学習におけるダイバージェンス正則化の再考

要旨

強化学習（RL）は、大規模言語モデル（LLM）のポストトレーニングにおける主要な構成要素となっている。実際のLLM向けRLでは、学習と推論のミスマッチや方策の陳腐化により、オフポリシー方式が多く用いられるため、安定した最適化には信頼領域制御が不可欠である。PPOやGRPOといった主流手法は、比率クリッピング機構によってこの制御を近似しているが、重要度比はロングテールな語彙における分布シフトの指標として不十分な場合がある。近年のDPPOは、比率ベースのクリッピングを発散ベースのマスクに置き換え、サンプリングされたトークンの絶対確率シフトによって定義される信頼領域を導入することで、このミスマッチに対処している。しかし、DPPOは依然としてハードマスクに依存しており、トークンが有害な方向に信頼領域境界を超えた場合、その勾配は修正されずに破棄される。この問題に対処するため、本稿ではDivergence Regularized Policy Optimization（DRPO）を提案する。DRPOはハードマスクを、方策シフトに対する滑らかなアドバンテージ加重二次正則化に置き換える。これにより、DPPOと同じ信頼領域形状を維持しつつ、有界で連続な勾配重みを導入し、乖離する更新を抑制するとともに、境界を超えた場合でも修正信号を提供する。モデルスケール、アーキテクチャ、精度設定にわたる実験により、DRPOがLLMのRL学習の安定性と効率性を向上させることが示された。

English

Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.