ASPO: Optimización de Políticas con Muestreo de Importancia Asimétrico

ASPO: Asymmetric Importance Sampling Policy Optimization

October 7, 2025

Autores: Jiakang Wang, Runze Liu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

cs.AI

Resumen

Los métodos recientes de posentrenamiento para Modelos de Lenguaje de Gran Escala (LLM) dependen de mecanismos de recorte a nivel de tokens durante el Aprendizaje por Refuerzo (RL). Sin embargo, identificamos un defecto fundamental en este paradigma de RL Supervisado por Resultados (OSRL): las proporciones de Muestreo de Importancia (IS) de los tokens con ventaja positiva están desajustadas, lo que lleva a una ponderación desequilibrada entre tokens positivos y negativos. Este desajuste suprime la actualización de tokens de baja probabilidad mientras amplifica excesivamente aquellos que ya tienen una alta probabilidad. Para abordar esto, proponemos Optimización de Políticas con Muestreo de Importancia Asimétrico (ASPO), que utiliza una estrategia simple pero efectiva que invierte las proporciones de IS de los tokens con ventaja positiva, alineando su dirección de actualización con la dinámica de aprendizaje de los tokens negativos. ASPO incorpora además un mecanismo de doble recorte suave para estabilizar actualizaciones extremas mientras mantiene el flujo de gradientes. Experimentos exhaustivos en benchmarks de codificación y razonamiento matemático demuestran que ASPO mitiga significativamente la convergencia prematura, mejora la estabilidad del entrenamiento y aumenta el rendimiento final en comparación con líneas base fuertes basadas en GRPO. Nuestro análisis proporciona nuevas perspectivas sobre el papel de la ponderación a nivel de tokens en OSRL y destaca la importancia crítica de corregir el IS en el RL de LLM. El código y los modelos de ASPO están disponibles en https://github.com/wizard-III/Archer2.0.

English

Recent Large Language Model (LLM) post-training methods rely on token-level clipping mechanisms during Reinforcement Learning (RL). However, we identify a fundamental flaw in this Outcome-Supervised RL (OSRL) paradigm: the Importance Sampling (IS) ratios of positive-advantage tokens are mismatched, leading to unbalanced token weighting for positive and negative tokens. This mismatch suppresses the update of low-probability tokens while over-amplifying already high-probability ones. To address this, we propose Asymmetric Importance Sampling Policy Optimization (ASPO), which uses a simple yet effective strategy that flips the IS ratios of positive-advantage tokens, aligning their update direction with the learning dynamics of negative ones. AIS further incorporates a soft dual-clipping mechanism to stabilize extreme updates while maintaining gradient flow. Comprehensive experiments on coding and mathematical reasoning benchmarks demonstrate that ASPO significantly mitigates premature convergence, improves training stability, and enhances final performance over strong GRPO-based baselines. Our analysis provides new insights into the role of token-level weighting in OSRL and highlights the critical importance of correcting IS in LLM RL. The code and models of ASPO are available at https://github.com/wizard-III/Archer2.0.