QwenLong-L1 : Vers des modèles de raisonnement à grand contexte avec apprentissage par renforcement

QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning

May 23, 2025

Auteurs: Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Résumé

Les modèles récents de raisonnement à grande échelle (LRMs) ont démontré de solides capacités de raisonnement grâce à l'apprentissage par renforcement (RL). Ces améliorations ont principalement été observées dans des tâches de raisonnement à contexte court. En revanche, l'extension des LRMs pour traiter et raisonner efficacement sur des entrées à contexte long via le RL reste un défi critique non résolu. Pour combler cette lacune, nous formalisons d'abord le paradigme du RL pour le raisonnement à contexte long, et identifions les principaux défis liés à une efficacité d'entraînement sous-optimale et à un processus d'optimisation instable. Pour résoudre ces problèmes, nous proposons QwenLong-L1, un cadre qui adapte les LRMs à contexte court aux scénarios à contexte long via un échelonnement progressif du contexte. Plus précisément, nous utilisons une étape de fine-tuning supervisé (SFT) d'échauffement pour établir une politique initiale robuste, suivie d'une technique de RL par phases guidée par un curriculum pour stabiliser l'évolution de la politique, et renforcée par une stratégie d'échantillonnage rétrospectif sensible à la difficulté pour encourager l'exploration de la politique. Les expériences sur sept benchmarks de question-réponse sur des documents à contexte long démontrent que QwenLong-L1-32B surpasse les LRMs phares comme OpenAI-o3-mini et Qwen3-235B-A22B, atteignant des performances comparables à Claude-3.7-Sonnet-Thinking, et affichant des performances de pointe parmi les LRMs les plus avancés. Ce travail fait progresser le développement de LRMs pratiques à contexte long capables d'un raisonnement robuste dans des environnements riches en informations.

English

Recent large reasoning models (LRMs) have demonstrated strong reasoning capabilities through reinforcement learning (RL). These improvements have primarily been observed within the short-context reasoning tasks. In contrast, extending LRMs to effectively process and reason on long-context inputs via RL remains a critical unsolved challenge. To bridge this gap, we first formalize the paradigm of long-context reasoning RL, and identify key challenges in suboptimal training efficiency and unstable optimization process. To address these issues, we propose QwenLong-L1, a framework that adapts short-context LRMs to long-context scenarios via progressive context scaling. Specifically, we utilize a warm-up supervised fine-tuning (SFT) stage to establish a robust initial policy, followed by a curriculum-guided phased RL technique to stabilize the policy evolution, and enhanced with a difficulty-aware retrospective sampling strategy to incentivize the policy exploration. Experiments on seven long-context document question-answering benchmarks demonstrate that QwenLong-L1-32B outperforms flagship LRMs like OpenAI-o3-mini and Qwen3-235B-A22B, achieving performance on par with Claude-3.7-Sonnet-Thinking, demonstrating leading performance among state-of-the-art LRMs. This work advances the development of practical long-context LRMs capable of robust reasoning across information-intensive environments.