ASPO: Asymmetrische Importance-Sampling-Policy-Optimierung

ASPO: Asymmetric Importance Sampling Policy Optimization

October 7, 2025

papers.authors: Jiakang Wang, Runze Liu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

cs.AI

papers.abstract

Aktuelle Post-Training-Methoden für Large Language Models (LLMs) stützen sich auf Token-Level-Clipping-Mechanismen während des Reinforcement Learning (RL). Wir identifizieren jedoch einen grundlegenden Fehler in diesem Outcome-Supervised RL (OSRL)-Paradigma: die Importance Sampling (IS)-Verhältnisse von Tokens mit positivem Vorteil sind fehlangepasst, was zu einer unausgewogenen Gewichtung von positiven und negativen Tokens führt. Diese Fehlanpassung unterdrückt die Aktualisierung von Tokens mit niedriger Wahrscheinlichkeit, während bereits hochwahrscheinliche Tokens übermäßig verstärkt werden. Um dies zu beheben, schlagen wir Asymmetric Importance Sampling Policy Optimization (ASPO) vor, das eine einfache, aber effektive Strategie verwendet, die die IS-Verhältnisse von Tokens mit positivem Vorteil umkehrt und deren Aktualisierungsrichtung mit den Lernprozessen negativer Tokens in Einklang bringt. ASPO integriert zudem einen weichen Dual-Clipping-Mechanismus, um extreme Aktualisierungen zu stabilisieren, während der Gradientenfluss aufrechterhalten wird. Umfassende Experimente auf Benchmark-Datensätzen für Codierung und mathematisches Denken zeigen, dass ASPO vorzeitige Konvergenz signifikant reduziert, die Trainingsstabilität verbessert und die Endleistung im Vergleich zu starken GRPO-basierten Baselines steigert. Unsere Analyse bietet neue Einblicke in die Rolle der Token-Level-Gewichtung in OSRL und unterstreicht die kritische Bedeutung der Korrektur von IS in LLM RL. Der Code und die Modelle von ASPO sind unter https://github.com/wizard-III/Archer2.0 verfügbar.

English

Recent Large Language Model (LLM) post-training methods rely on token-level clipping mechanisms during Reinforcement Learning (RL). However, we identify a fundamental flaw in this Outcome-Supervised RL (OSRL) paradigm: the Importance Sampling (IS) ratios of positive-advantage tokens are mismatched, leading to unbalanced token weighting for positive and negative tokens. This mismatch suppresses the update of low-probability tokens while over-amplifying already high-probability ones. To address this, we propose Asymmetric Importance Sampling Policy Optimization (ASPO), which uses a simple yet effective strategy that flips the IS ratios of positive-advantage tokens, aligning their update direction with the learning dynamics of negative ones. AIS further incorporates a soft dual-clipping mechanism to stabilize extreme updates while maintaining gradient flow. Comprehensive experiments on coding and mathematical reasoning benchmarks demonstrate that ASPO significantly mitigates premature convergence, improves training stability, and enhances final performance over strong GRPO-based baselines. Our analysis provides new insights into the role of token-level weighting in OSRL and highlights the critical importance of correcting IS in LLM RL. The code and models of ASPO are available at https://github.com/wizard-III/Archer2.0.