Heroverweging van de divergentie-regularisatie in LLM-RL

Samenvatting

Reinforcement learning (RL) is een sleutelcomponent geworden van post-training voor grote taalmodellen (LLMs). In de praktijk is LLM RL vaak off-policy vanwege een mismatch tussen training en inferentie en beleidsveroudering, waardoor trust-region-controle essentieel is voor stabiele optimalisatie. Gebruikelijke methoden zoals PPO en GRPO benaderen deze controle met een ratio-clippingmechanisme, maar de belangrijkheidsratio kan een slechte proxy zijn voor distributieverschuiving in langstaartvocabularia. Recent werk zoals DPPO pakt deze mismatch aan door ratio-gebaseerd clipping te vervangen door een divergentie-gebaseerd masker, wat resulteert in een trust-regio die wordt gedefinieerd door de absolute kansverschuiving van het gesamplede token. DPPO vertrouwt echter nog steeds op een hard masker: zodra een token de trust-regiongrens in een schadelijke richting overschrijdt, wordt zijn gradient weggegooid in plaats van gecorrigeerd. Om dit aan te pakken stellen we Divergentie-Geregulariseerde Beleidsoptimalisatie (DRPO) voor, die het harde masker vervangt door een gladde, advantage-gewogen kwadratische regularisator op beleidsverschuiving. DRPO behoudt dezelfde trust-regiongeometrie als DPPO, terwijl het begrensde, continue gradientgewichten induceert die divergerende updates verzwakken en corrigerende signalen geven voorbij de grens. Experimenten over modelschalen, architecturen en precisie-instellingen tonen aan dat DRPO de stabiliteit en efficiëntie van LLM RL-training verbetert.

English

Reinforcement learning (RL) has become a key component of post-training large language models (LLMs). In practice, LLM RL is often off-policy because of training-inference mismatch and policy staleness, making trust-region control essential for stable optimization. Mainstream methods such as PPO and GRPO approximate this control with a ratio-clipping mechanism, but the importance ratio can be a poor proxy for distributional shift in long-tailed vocabularies. Recent work such as DPPO addresses this mismatch by replacing ratio-based clipping with a divergence-based mask, yielding a trust region defined by the sampled token's absolute probability shift. However, DPPO still relies on a hard mask: once a token crosses the trust-region boundary in a harmful direction, its gradient is discarded rather than corrected. To address this, we propose Divergence Regularized Policy Optimization (DRPO), which replaces the hard mask with a smooth advantage-weighted quadratic regularizer on policy shift. DRPO preserves the same trust-region geometry as DPPO while inducing bounded, continuous gradient weights that attenuate diverging updates and provide corrective signals beyond the boundary. Experiments across model scales, architectures, and precision settings show that DRPO improves the stability and efficiency of LLM RL training.