QwenLong-L1: Auf dem Weg zu langkontextfähigen großen Reasoning-Modellen mit Reinforcement Learning

QwenLong-L1: Towards Long-Context Large Reasoning Models with Reinforcement Learning

May 23, 2025

Autoren: Fanqi Wan, Weizhou Shen, Shengyi Liao, Yingcheng Shi, Chenliang Li, Ziyi Yang, Ji Zhang, Fei Huang, Jingren Zhou, Ming Yan

cs.AI

Zusammenfassung

Aktuelle große Reasoning-Modelle (LRMs) haben durch Reinforcement Learning (RL) starke Reasoning-Fähigkeiten demonstriert. Diese Verbesserungen wurden hauptsächlich bei Aufgaben mit kurzen Kontexten beobachtet. Im Gegensatz dazu bleibt die Erweiterung von LRMs, um effektiv lange Kontexteingaben über RL zu verarbeiten und darauf zu schließen, eine kritische ungelöste Herausforderung. Um diese Lücke zu schließen, formalisieren wir zunächst das Paradigma des Long-Context-Reasoning-RL und identifizieren Schlüsselherausforderungen in suboptimaler Trainings effizienz und instabilem Optimierungsprozess. Um diese Probleme zu adressieren, schlagen wir QwenLong-L1 vor, ein Framework, das kurzkontextfähige LRMs durch progressives Kontext-Scaling an Langkontext-Szenarien anpasst. Konkret nutzen wir eine Warm-up-Supervised-Fine-Tuning-(SFT)-Phase, um eine robuste Initialpolitik zu etablieren, gefolgt von einer curriculum-gesteuerten, phasenweisen RL-Technik, um die Politikentwicklung zu stabilisieren, und verstärkt durch eine schwierigkeitsbewusste retrospektive Sampling-Strategie, um die Politikexploration zu fördern. Experimente auf sieben Langkontext-Dokumenten-Frage-Antwort-Benchmarks zeigen, dass QwenLong-L1-32B führende LRMs wie OpenAI-o3-mini und Qwen3-235B-A22B übertrifft und eine Leistung auf Augenhöhe mit Claude-3.7-Sonnet-Thinking erreicht, was führende Leistung unter den state-of-the-art LRMs demonstriert. Diese Arbeit fördert die Entwicklung praktischer Langkontext-LRMs, die robustes Reasoning in informationsintensiven Umgebungen ermöglichen.

English

Recent large reasoning models (LRMs) have demonstrated strong reasoning capabilities through reinforcement learning (RL). These improvements have primarily been observed within the short-context reasoning tasks. In contrast, extending LRMs to effectively process and reason on long-context inputs via RL remains a critical unsolved challenge. To bridge this gap, we first formalize the paradigm of long-context reasoning RL, and identify key challenges in suboptimal training efficiency and unstable optimization process. To address these issues, we propose QwenLong-L1, a framework that adapts short-context LRMs to long-context scenarios via progressive context scaling. Specifically, we utilize a warm-up supervised fine-tuning (SFT) stage to establish a robust initial policy, followed by a curriculum-guided phased RL technique to stabilize the policy evolution, and enhanced with a difficulty-aware retrospective sampling strategy to incentivize the policy exploration. Experiments on seven long-context document question-answering benchmarks demonstrate that QwenLong-L1-32B outperforms flagship LRMs like OpenAI-o3-mini and Qwen3-235B-A22B, achieving performance on par with Claude-3.7-Sonnet-Thinking, demonstrating leading performance among state-of-the-art LRMs. This work advances the development of practical long-context LRMs capable of robust reasoning across information-intensive environments.