ASPO: 비대칭 중요도 샘플링 정책 최적화

ASPO: Asymmetric Importance Sampling Policy Optimization

October 7, 2025

저자: Jiakang Wang, Runze Liu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

cs.AI

초록

최근의 대규모 언어 모델(LLM) 사후 훈련 방법들은 강화 학습(RL) 과정에서 토큰 수준의 클리핑 메커니즘에 의존하고 있습니다. 그러나 우리는 이러한 결과 지도 강화 학습(OSRL) 패러다임의 근본적인 결함을 발견했습니다: 긍정적 이점을 가진 토큰들의 중요도 샘플링(IS) 비율이 불일치하여, 긍정적 토큰과 부정적 토큰 간의 가중치가 불균형하게 됩니다. 이러한 불일치는 낮은 확률의 토큰 업데이트를 억제하는 동시에 이미 높은 확률의 토큰을 과도하게 증폭시킵니다. 이를 해결하기 위해, 우리는 비대칭 중요도 샘플링 정책 최적화(ASPO)를 제안합니다. 이 방법은 긍정적 이점 토큰의 IS 비율을 뒤집어, 부정적 토큰의 학습 동역학과 일치하도록 업데이트 방향을 조정하는 간단하면서도 효과적인 전략을 사용합니다. ASPO는 또한 극단적인 업데이트를 안정화하면서도 그래디언트 흐름을 유지하기 위해 소프트 듀얼 클리핑 메커니즘을 통합합니다. 코딩 및 수학적 추론 벤치마크에 대한 포괄적인 실험을 통해 ASPO가 조기 수렴을 크게 완화하고, 훈련 안정성을 개선하며, 강력한 GRPO 기반 베이스라인 대비 최종 성능을 향상시킴을 입증했습니다. 우리의 분석은 OSRL에서 토큰 수준 가중치의 역할에 대한 새로운 통찰을 제공하며, LLM RL에서 IS를 수정하는 것이 얼마나 중요한지 강조합니다. ASPO의 코드와 모델은 https://github.com/wizard-III/Archer2.0에서 확인할 수 있습니다.

English

Recent Large Language Model (LLM) post-training methods rely on token-level clipping mechanisms during Reinforcement Learning (RL). However, we identify a fundamental flaw in this Outcome-Supervised RL (OSRL) paradigm: the Importance Sampling (IS) ratios of positive-advantage tokens are mismatched, leading to unbalanced token weighting for positive and negative tokens. This mismatch suppresses the update of low-probability tokens while over-amplifying already high-probability ones. To address this, we propose Asymmetric Importance Sampling Policy Optimization (ASPO), which uses a simple yet effective strategy that flips the IS ratios of positive-advantage tokens, aligning their update direction with the learning dynamics of negative ones. AIS further incorporates a soft dual-clipping mechanism to stabilize extreme updates while maintaining gradient flow. Comprehensive experiments on coding and mathematical reasoning benchmarks demonstrate that ASPO significantly mitigates premature convergence, improves training stability, and enhances final performance over strong GRPO-based baselines. Our analysis provides new insights into the role of token-level weighting in OSRL and highlights the critical importance of correcting IS in LLM RL. The code and models of ASPO are available at https://github.com/wizard-III/Archer2.0.