Переосмысление регуляризации расхождения в обучении с подкреплением для LLM

Аннотация

Обучение с подкреплением (RL) стало ключевым компонентом пост-обучения больших языковых моделей (LLM). На практике RL для LLM часто является вне-политическим (off-policy) из-за несоответствия между обучением и выводом (training-inference mismatch) и устаревания политики (policy staleness), что делает контроль доверительной области (trust-region control) необходимым для стабильной оптимизации. Основные методы, такие как PPO и GRPO, аппроксимируют этот контроль с помощью механизма обрезания отношения (ratio-clipping), однако отношение важности (importance ratio) может быть плохим показателем сдвига распределения (distributional shift) в длиннохвостых словарях (long-tailed vocabularies). Недавняя работа, такая как DPPO, решает это несоответствие, заменяя обрезание на основе отношения на маску на основе расхождения (divergence-based mask), что создает доверительную область, определяемую абсолютным сдвигом вероятности (absolute probability shift) выбранного токена. Однако DPPO по-прежнему полагается на жесткую маску (hard mask): как только токен пересекает границу доверительной области в вредном направлении, его градиент отбрасывается, а не корректируется. Чтобы решить эту проблему, мы предлагаем Divergence Regularized Policy Optimization (DRPO), который заменяет жесткую маску гладким квадратичным регуляризатором, взвешенным по преимуществу (advantage-weighted quadratic regularizer), на сдвиг политики (policy shift). DRPO сохраняет ту же геометрию доверительной области, что и DPPO, при этом вводя ограниченные, непрерывные веса градиента (bounded, continuous gradient weights), которые ослабляют расходящиеся обновления (diverging updates) и предоставляют корректирующие сигналы (corrective signals) за пределами границы. Эксперименты с разными масштабами моделей, архитектурами и настройками точности показывают, что DRPO повышает стабильность и эффективность обучения RL для LLM.

English

Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.