ASPO: Asymmetrische Belangrijkheidssteekproefbeleidsoptimalisatie

ASPO: Asymmetric Importance Sampling Policy Optimization

October 7, 2025

Auteurs: Jiakang Wang, Runze Liu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

cs.AI

Samenvatting

Recente post-trainingsmethoden voor Large Language Models (LLM) vertrouwen op token-level clippingmechanismen tijdens Reinforcement Learning (RL). Wij identificeren echter een fundamenteel probleem in dit Outcome-Supervised RL (OSRL)-paradigma: de Importance Sampling (IS)-ratio's van tokens met positief voordeel zijn niet op elkaar afgestemd, wat leidt tot een onevenwichtige tokenweging voor positieve en negatieve tokens. Deze mismatch onderdrukt de update van tokens met een lage waarschijnlijkheid terwijl reeds hoogwaarschijnlijke tokens overmatig worden versterkt. Om dit aan te pakken, stellen wij Asymmetric Importance Sampling Policy Optimization (ASPO) voor, dat een eenvoudige maar effectieve strategie gebruikt waarbij de IS-ratio's van tokens met positief voordeel worden omgedraaid, waardoor hun updatedirection wordt afgestemd op de leer dynamiek van negatieve tokens. ASPO integreert verder een soft dual-clippingmechanisme om extreme updates te stabiliseren terwijl de gradientstroom behouden blijft. Uitgebreide experimenten op benchmarks voor codering en wiskundig redeneren tonen aan dat ASPO voortijdige convergentie aanzienlijk vermindert, de trainingsstabiliteit verbetert en de uiteindelijke prestaties verhoogt ten opzichte van sterke GRPO-gebaseerde baselines. Onze analyse biedt nieuwe inzichten in de rol van token-level weging in OSRL en benadrukt het cruciale belang van het corrigeren van IS in LLM RL. De code en modellen van ASPO zijn beschikbaar op https://github.com/wizard-III/Archer2.0.

English

Recent Large Language Model (LLM) post-training methods rely on token-level clipping mechanisms during Reinforcement Learning (RL). However, we identify a fundamental flaw in this Outcome-Supervised RL (OSRL) paradigm: the Importance Sampling (IS) ratios of positive-advantage tokens are mismatched, leading to unbalanced token weighting for positive and negative tokens. This mismatch suppresses the update of low-probability tokens while over-amplifying already high-probability ones. To address this, we propose Asymmetric Importance Sampling Policy Optimization (ASPO), which uses a simple yet effective strategy that flips the IS ratios of positive-advantage tokens, aligning their update direction with the learning dynamics of negative ones. AIS further incorporates a soft dual-clipping mechanism to stabilize extreme updates while maintaining gradient flow. Comprehensive experiments on coding and mathematical reasoning benchmarks demonstrate that ASPO significantly mitigates premature convergence, improves training stability, and enhances final performance over strong GRPO-based baselines. Our analysis provides new insights into the role of token-level weighting in OSRL and highlights the critical importance of correcting IS in LLM RL. The code and models of ASPO are available at https://github.com/wizard-III/Archer2.0.