QwenLong-L1: Verso Modelli di Ragionamento su Lungo Contesto con Apprendimento per Rinforzo

QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning

May 23, 2025

Autori: Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Abstract

I recenti modelli di ragionamento su larga scala (LRM) hanno dimostrato forti capacità di ragionamento attraverso l'apprendimento per rinforzo (RL). Questi miglioramenti sono stati osservati principalmente nei compiti di ragionamento a contesto breve. Al contrario, estendere gli LRM per elaborare e ragionare efficacemente su input a contesto lungo tramite RL rimane una sfida critica irrisolta. Per colmare questa lacuna, formalizziamo innanzitutto il paradigma del ragionamento RL a contesto lungo e identifichiamo le principali sfide legate all'efficienza subottimale dell'addestramento e all'instabilità del processo di ottimizzazione. Per affrontare questi problemi, proponiamo QwenLong-L1, un framework che adatta gli LRM a contesto breve a scenari a contesto lungo attraverso un ridimensionamento progressivo del contesto. Nello specifico, utilizziamo una fase iniziale di fine-tuning supervisionato (SFT) per stabilire una politica iniziale robusta, seguita da una tecnica RL a fasi guidata da un curriculum per stabilizzare l'evoluzione della politica, e arricchita con una strategia di campionamento retrospettivo basata sulla difficoltà per incentivare l'esplorazione della politica. Esperimenti su sette benchmark di risposta a domande su documenti a contesto lungo dimostrano che QwenLong-L1-32B supera LRM di punta come OpenAI-o3-mini e Qwen3-235B-A22B, raggiungendo prestazioni paragonabili a Claude-3.7-Sonnet-Thinking, dimostrando una performance leader tra gli LRM all'avanguardia. Questo lavoro avanza lo sviluppo di LRM pratici a contesto lungo capaci di ragionamento robusto in ambienti ad alta intensità informativa.

English

Recent large reasoning models (LRMs) have demonstrated strong reasoning capabilities through reinforcement learning (RL). These improvements have primarily been observed within the short-context reasoning tasks. In contrast, extending LRMs to effectively process and reason on long-context inputs via RL remains a critical unsolved challenge. To bridge this gap, we first formalize the paradigm of long-context reasoning RL, and identify key challenges in suboptimal training efficiency and unstable optimization process. To address these issues, we propose QwenLong-L1, a framework that adapts short-context LRMs to long-context scenarios via progressive context scaling. Specifically, we utilize a warm-up supervised fine-tuning (SFT) stage to establish a robust initial policy, followed by a curriculum-guided phased RL technique to stabilize the policy evolution, and enhanced with a difficulty-aware retrospective sampling strategy to incentivize the policy exploration. Experiments on seven long-context document question-answering benchmarks demonstrate that QwenLong-L1-32B outperforms flagship LRMs like OpenAI-o3-mini and Qwen3-235B-A22B, achieving performance on par with Claude-3.7-Sonnet-Thinking, demonstrating leading performance among state-of-the-art LRMs. This work advances the development of practical long-context LRMs capable of robust reasoning across information-intensive environments.