QwenLong-L1: Rumo a Modelos de Grande Escala para Raciocínio de Longo Contexto com Aprendizado por Reforço

QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning

May 23, 2025

Autores: Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Resumo

Modelos recentes de raciocínio em larga escala (LRMs, do inglês Large Reasoning Models) têm demonstrado fortes capacidades de raciocínio por meio de aprendizado por reforço (RL, do inglês Reinforcement Learning). Essas melhorias foram observadas principalmente em tarefas de raciocínio de contexto curto. Em contraste, estender LRMs para processar e raciocinar efetivamente sobre entradas de contexto longo via RL continua sendo um desafio crítico não resolvido. Para preencher essa lacuna, primeiro formalizamos o paradigma de RL para raciocínio em contexto longo e identificamos os principais desafios na eficiência de treinamento subótima e no processo de otimização instável. Para abordar esses problemas, propomos o QwenLong-L1, um framework que adapta LRMs de contexto curto para cenários de contexto longo por meio de escalonamento progressivo de contexto. Especificamente, utilizamos uma etapa de ajuste fino supervisionado (SFT, do inglês Supervised Fine-Tuning) de aquecimento para estabelecer uma política inicial robusta, seguida por uma técnica de RL faseada guiada por currículo para estabilizar a evolução da política, e aprimorada com uma estratégia de amostragem retrospectiva consciente da dificuldade para incentivar a exploração da política. Experimentos em sete benchmarks de questionamento e resposta em documentos de contexto longo demonstram que o QwenLong-L1-32B supera LRMs líderes como o OpenAI-o3-mini e o Qwen3-235B-A22B, alcançando desempenho comparável ao Claude-3.7-Sonnet-Thinking, demonstrando desempenho líder entre os LRMs de última geração. Este trabalho avança o desenvolvimento de LRMs práticos de contexto longo capazes de raciocínio robusto em ambientes intensivos em informação.

English

Recent large reasoning models (LRMs) have demonstrated strong reasoning capabilities through reinforcement learning (RL). These improvements have primarily been observed within the short-context reasoning tasks. In contrast, extending LRMs to effectively process and reason on long-context inputs via RL remains a critical unsolved challenge. To bridge this gap, we first formalize the paradigm of long-context reasoning RL, and identify key challenges in suboptimal training efficiency and unstable optimization process. To address these issues, we propose QwenLong-L1, a framework that adapts short-context LRMs to long-context scenarios via progressive context scaling. Specifically, we utilize a warm-up supervised fine-tuning (SFT) stage to establish a robust initial policy, followed by a curriculum-guided phased RL technique to stabilize the policy evolution, and enhanced with a difficulty-aware retrospective sampling strategy to incentivize the policy exploration. Experiments on seven long-context document question-answering benchmarks demonstrate that QwenLong-L1-32B outperforms flagship LRMs like OpenAI-o3-mini and Qwen3-235B-A22B, achieving performance on par with Claude-3.7-Sonnet-Thinking, demonstrating leading performance among state-of-the-art LRMs. This work advances the development of practical long-context LRMs capable of robust reasoning across information-intensive environments.