Repensando a Regularização de Divergência em RL com LLMs

Resumo

O aprendizado por reforço (RL) tornou-se um componente essencial do pós-treinamento de modelos de linguagem de grande porte (LLMs). Na prática, o RL em LLMs é frequentemente fora da política (off-policy) devido ao descompasso entre treinamento e inferência e à defasagem da política, tornando o controle de região de confiança crucial para uma otimização estável. Métodos convencionais como PPO e GRPO aproximam esse controle com um mecanismo de recorte de razão, mas a razão de importância pode ser um proxy pobre para deslocamentos distribucionais em vocabulários de cauda longa. Trabalhos recentes como o DPPO abordam esse descompasso substituindo o recorte baseado em razão por uma máscara baseada em divergência, gerando uma região de confiança definida pelo deslocamento absoluto de probabilidade do token amostrado. No entanto, o DPPO ainda depende de uma máscara rígida: uma vez que um token ultrapassa o limite da região de confiança em uma direção prejudicial, seu gradiente é descartado em vez de corrigido. Para resolver isso, propomos a Otimização de Política Regularizada por Divergência (DRPO), que substitui a máscara rígida por um regularizador quadrático suave, ponderado pela vantagem, sobre o deslocamento da política. O DRPO preserva a mesma geometria de região de confiança do DPPO, enquanto induz pesos de gradiente contínuos e limitados que atenuam atualizações divergentes e fornecem sinais corretivos além do limite. Experimentos em diferentes escalas de modelo, arquiteturas e configurações de precisão mostram que o DRPO melhora a estabilidade e a eficiência do treinamento de RL em LLMs.

English

Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.