ASPO: Otimização de Política com Amostragem de Importância Assimétrica

ASPO: Asymmetric Importance Sampling Policy Optimization

October 7, 2025

Autores: Jiakang Wang, Runze Liu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

cs.AI

Resumo

Métodos recentes de pós-treinamento de Modelos de Linguagem de Grande Escala (LLM) dependem de mecanismos de corte em nível de token durante o Aprendizado por Reforço (RL). No entanto, identificamos uma falha fundamental nesse paradigma de RL Supervisionado por Resultados (OSRL): as razões de Amostragem de Importância (IS) dos tokens com vantagem positiva são desalinhadas, levando a uma ponderação desequilibrada entre tokens positivos e negativos. Esse desalinhamento suprime a atualização de tokens de baixa probabilidade enquanto amplifica excessivamente aqueles já de alta probabilidade. Para resolver isso, propomos a Otimização de Política de Amostragem de Importância Assimétrica (ASPO), que utiliza uma estratégia simples, porém eficaz, que inverte as razões de IS dos tokens com vantagem positiva, alinhando sua direção de atualização com a dinâmica de aprendizado dos tokens negativos. A ASPO ainda incorpora um mecanismo de corte duplo suave para estabilizar atualizações extremas enquanto mantém o fluxo de gradientes. Experimentos abrangentes em benchmarks de codificação e raciocínio matemático demonstram que a ASPO mitiga significativamente a convergência prematura, melhora a estabilidade do treinamento e aprimora o desempenho final em relação a baselines baseados em GRPO. Nossa análise fornece novos insights sobre o papel da ponderação em nível de token no OSRL e destaca a importância crítica de corrigir a IS no RL de LLM. O código e os modelos da ASPO estão disponíveis em https://github.com/wizard-III/Archer2.0.

English

Recent Large Language Model (LLM) post-training methods rely on token-level clipping mechanisms during Reinforcement Learning (RL). However, we identify a fundamental flaw in this Outcome-Supervised RL (OSRL) paradigm: the Importance Sampling (IS) ratios of positive-advantage tokens are mismatched, leading to unbalanced token weighting for positive and negative tokens. This mismatch suppresses the update of low-probability tokens while over-amplifying already high-probability ones. To address this, we propose Asymmetric Importance Sampling Policy Optimization (ASPO), which uses a simple yet effective strategy that flips the IS ratios of positive-advantage tokens, aligning their update direction with the learning dynamics of negative ones. AIS further incorporates a soft dual-clipping mechanism to stabilize extreme updates while maintaining gradient flow. Comprehensive experiments on coding and mathematical reasoning benchmarks demonstrate that ASPO significantly mitigates premature convergence, improves training stability, and enhances final performance over strong GRPO-based baselines. Our analysis provides new insights into the role of token-level weighting in OSRL and highlights the critical importance of correcting IS in LLM RL. The code and models of ASPO are available at https://github.com/wizard-III/Archer2.0.