Ontbrekende oude logits in asynchrone agentisch RL: semantische mismatch en herstelmethoden voor off-policy correctie

Samenvatting

Asynchrone versterkingsleren verbetert de doorvoersnelheid van rollouts voor agenten van grote taalmodellen door het genereren van monsters te ontkoppelen van beleidsoptimalisatie, maar introduceert ook een kritieke faalwijze voor off-beleid correctie van het PPO-type. In heterogene trainingssystemen dient de totale belangrijkheidsratio idealiter te worden opgesplitst in twee semantisch verschillende factoren: een term voor discrepantie tussen training en inferentie die de distributies aan de inferentiezijde en trainingszijde bij dezelfde gedragsbeleidsversie op elkaar afstemt, en een term voor verouderdheid van het beleid die de update van het historische beleid naar het huidige beleid begrenst. We tonen aan dat praktische asynchrone pijplijnen met vertraagde updates en gedeeltelijke rollouts vaak de benodigde historische logits aan de trainingszijde, ofwel oude logits, verliezen. Dit probleem van ontbrekende oude logits verstrengelt herstel van discrepanties met correctie van verouderdheid, doorbreekt de beoogde semantiek van ontkoppelde correctie, en zorgt dat afkap- en maskeerdrempels op ongewenste wijze interageren. Om dit probleem aan te pakken, bestuderen we zowel exacte als benaderende correctieroutes. We stellen drie exacte strategieën voor het verkrijgen van oude logits voor: versie bijhouden op basis van snapshots, een speciaal model voor oude logits, en synchronisatie via onderbreking van gedeeltelijke rollouts, en vergelijken hun systeemafwegingen. Vanuit het perspectief van benaderende correctie richten we ons op het behouden van de voordelen van ontkoppelde correctie door een meer geschikt benaderend beleid wanneer exacte oude logits niet tegen lage kosten kunnen worden hersteld, zonder extra systeemoverhead te veroorzaken. Naar aanleiding van deze analyse hanteren we een herziene PPO-EWMA-methode, die significante winst behaalt in zowel trainingssnelheid als optimalisatieprestaties. Code op https://github.com/millioniron/ROLL.

English

Asynchronous reinforcement learning improves rollout throughput for large language model agents by decoupling sample generation from policy optimization, but it also introduces a critical failure mode for PPO-style off-policy correction. In heterogeneous training systems, the total importance ratio should ideally be decomposed into two semantically distinct factors: a training--inference discrepancy term that aligns inference-side and training-side distributions at the same behavior-policy version, and a policy-staleness term that constrains the update from the historical policy to the current policy. We show that practical asynchronous pipelines with delayed updates and partial rollouts often lose the required historical training-side logits, or old logits. This missing-old-logit problem entangles discrepancy repair with staleness correction, breaks the intended semantics of decoupled correction, and makes clipping and masking thresholds interact undesirably. To address this issue, we study both exact and approximate correction routes. We propose three exact old-logit acquisition strategies: snapshot-based version tracking, a dedicated old-logit model, and synchronization via partial rollout interruption, and compare their system trade-offs. From the perspective of approximate correction, we focus on preserving the benefits of decoupled correction through a more appropriate approximate policy when exact old logits cannot be recovered at low cost, without incurring extra system overhead. Following this analysis, we adopt a revised PPO-EWMA method, which achieves significant gains in both training speed and optimization performance. Code at https://github.com/millioniron/ROLL.