Voorbij de Uniforme Vertrouwensregio op Token-Niveau in Reinforcement Learning voor LLM's

Samenvatting

Reinforcement learning met verifieerbare beloningen (RLVR) is inmiddels standaard voor het verbeteren van LLM-redeneren. De bestaande trust-region mechanismen in PPO-stijl blijven echter positie-agnostisch doordat ze uniforme drempelwaarden handhaven die onafhankelijk op alle tokens worden toegepast. Deze puntsgewijze behandeling staat op twee cruciale punten op gespannen voet met autoregressieve generatie. Ten eerste negeren uniforme drempelwaarden de autoregressieve asymmetrie. Afwijkingen in een vroeg stadium leiden tot cumulatieve drift op sequentieniveau, waardoor statische drempelwaarden vroege divergentie onvoldoende reguleren en exploratie in een laat stadium overmatig beperken. Ten tweede wordt bij het geïsoleerd evalueren van divergentie op token-niveau de cumulatieve prefix-drift over het hoofd gezien, waardoor dezelfde divergentietolerantie wordt toegekend ongeacht hoe ver de conditioneringsgeschiedenis al is afgeweken van het rollout-beleid. Om deze beperking aan te pakken, stellen wij CPPO (Cumulative Prefix-divergence Policy Optimization) voor, een maskeringsregel op token-niveau die updates afstemt op een eindige-horizon beleidsverbeteringsgrens via twee gekoppelde mechanismen. Ten eerste legt een positiegewogen drempelwaarde strengere beperkingen op aan vroege posities, waarvan de effecten langer aanhouden, terwijl de beperkingen voor tokens in een laat stadium worden versoepeld. Ten tweede volgt een cumulatief prefixbudget de historische afwijkingen, waardoor verdere token-niveau afwijkingen dynamisch worden beperkt om cumulatieve fouten langs de prefix te voorkomen. Empirisch toont CPPO een verbeterde trainingsstabiliteit en een significant hogere redeneernauwkeurigheid aan bij verschillende modelschalen.

English

Reinforcement learning with verifiable rewards (RLVR) has become standard for improving LLM reasoning. However, existing PPO-style trust-region mechanisms remain position-agnostic by enforcing uniform thresholds across all tokens independently. This pointwise treatment conflicts with autoregressive generation in two critical ways. First, uniform thresholds ignore autoregressive asymmetry. Early-stage deviations produce compounding sequence-level drift, causing static thresholds to under-regulate early divergence and excessively constrain late-stage exploration. Second, evaluating token-level divergence in isolation overlooks cumulative prefix drift, granting the same divergence allowance regardless of how far the conditioning history has already deviated from the rollout policy. To address this limitation, we propose CPPO (Cumulative Prefix-divergence Policy Optimization), a token-level masking rule that aligns updates with a finite-horizon policy-improvement bound via two coupled mechanisms. First, a position-weighted threshold imposes stricter limits at early positions whose effects persist longer, relaxing constraints for late-stage tokens. Second, a cumulative prefix budget tracks historical deviations, dynamically restricting further token-level deviation to prevent compounding errors along the prefix. Empirically, CPPO enhances training stability and significantly improves reasoning accuracy across various model scales.