Repenser la régularisation de la divergence dans l’apprentissage par renforcement des LLM

Résumé

L'apprentissage par renforcement (RL) est devenu un élément clé du post-entraînement des grands modèles de langage (LLMs). En pratique, le RL pour les LLMs est souvent hors politique (off-policy) en raison d'un décalage entre l'entraînement et l'inférence ainsi que de l'obsolescence de la politique, ce qui rend le contrôle de la région de confiance essentiel pour une optimisation stable. Les méthodes dominantes telles que PPO et GRPO approximent ce contrôle par un mécanisme d'écrêtage du ratio, mais le ratio d'importance peut constituer un mauvais indicateur du décalage distributionnel dans les vocabulaires à longue traîne. Des travaux récents comme DPPO corrigent ce décalage en remplaçant l'écrêtage basé sur le ratio par un masque basé sur la divergence, établissant ainsi une région de confiance définie par le décalage absolu de probabilité du jeton échantillonné. Cependant, DPPO repose encore sur un masque dur : dès qu'un jeton franchit la frontière de la région de confiance dans une direction néfaste, son gradient est écarté plutôt que corrigé. Pour remédier à cela, nous proposons l'Optimisation de Politique Régularisée par Divergence (DRPO), qui remplace le masque dur par un régularisateur quadratique lisse pondéré par l'avantage sur le décalage de politique. DRPO préserve la même géométrie de région de confiance que DPPO tout en induisant des poids de gradient continus et bornés qui atténuent les mises à jour divergentes et fournissent des signaux correctifs au-delà de la frontière. Des expériences menées à différentes échelles de modèle, architectures et réglages de précision montrent que DRPO améliore la stabilité et l'efficacité de l'entraînement RL des LLMs.

English

Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.