De luchtspiegeling van het optimaliseren van trainingsbeleid: monotone inferentiebeleid als de werkelijke doelstelling voor reinforcement learning van LLM's

Samenvatting

Reinforcement learning (RL) heeft toenemende aandacht gekregen in de post-training van grote taalmodellen (LLM's), maar RL-training blijft kwetsbaar en kan instabiliteit of instorting vertonen. Een cruciale oorzaak is de mismatch tussen training en inferentie: LLM's gebruiken afzonderlijke inferentie- en trainingsengines voor generatie-efficiëntie en trainingsprecisie, wat in de praktijk leidt tot inconsistente kansen voor dezelfde trajecten aan de trainings- en inferentiekant, zelfs bij gesynchroniseerde modelparameters. Dit veroorzaakt van nature een speciaal type off-policyness dat voortdurend aanwezig is en de training verstoort. Eerdere werken hebben diverse pogingen ondernomen om de off-policyness aan te pakken om het trainingsbeleid onder de mismatch te stabiliseren. In dit artikel wijzen we op de objective-misalignment die door bestaande werken wordt genegeerd: een effectieve update van het beleid in de trainingsengine garandeert niet noodzakelijk de verbetering van het inferentiebeleid, d.w.z. het beleid dat wordt gebruikt in de implementatie. Daartoe stellen we een nieuw beleidsoptimalisatiedoel voor voor LLM-RL, genaamd Monotonic Inference Policy Improvement (MIPI). Volgens dit principe introduceren we Monotonic Inference Policy Update (MIPU), een tweestaps LLM-RL-framework dat sampler-gerefereerde kandidaat-updates construeert en selectief gesynchroniseerde kandidaten accepteert met behulp van een inferentie-kloofproxy. Experimenten uitgevoerd op twee modelschalen onder hoge mismatch tonen aan dat MIPU de gemiddelde redeneerprestatie en trainingsstabiliteit verbetert.

English

Reinforcement learning (RL) has gained growing attention in large language model (LLM) post-training, yet RL training remains fragile and can suffer from instability or collapse. One vital cause is training-inference mismatch: LLM adopts separate inference and training engines for generation efficiency and training precision, which in practice exhibits inconsistent probabilities for the same trajectories on training and inference sides, even with synchronized model parameters. This naturally induces a special type of off-policyness ever existing and poisoning the training. Prior works have made various efforts in addressing the off-policyness to stabilize the training policies under the mismatch. In this paper, we point out the objective misalignment neglected by existing works that an effective update to the policy in the training engine not necessarily ensures the improvement of the inference policy, i.e., the one used in deployment. To this end, we propose a new policy optimization objective for LLM RL, named Monotonic Inference Policy Improvement (MIPI). Following this principle, we introduce Monotonic Inference Policy Update (MIPU), a two-step LLM RL framework that constructs sampler-referenced candidate updates and selectively accepts synchronized candidates using an inference-side gap proxy. Experiments conducted on two model scales under high mismatch show that MIPU improves average reasoning performance and training stability.