LoongRL: Verstärkendes Lernen für fortgeschrittenes Schlussfolgern in langen Kontexten

LoongRL:Reinforcement Learning for Advanced Reasoning over Long Contexts

October 22, 2025

papers.authors: Siyuan Wang, Gaokai Zhang, Li Lyna Zhang, Ning Shang, Fan Yang, Dongyao Chen, Mao Yang

cs.AI

papers.abstract

Das Schließen über lange Kontexte ist für große Sprachmodelle von entscheidender Bedeutung. Während Reinforcement Learning (RL) das Schließen in kurzen Kontexten durch die Induktion von „Aha“-Momenten in Ketten von Gedanken verbessert, bleiben die fortgeschrittenen Denkmuster, die für das Schließen über lange Kontexte erforderlich sind, weitgehend unerforscht, und hochschwierige RL-Daten sind rar. In diesem Artikel stellen wir LoongRL vor, eine datengetriebene RL-Methode für fortgeschrittenes Schließen über lange Kontexte. Kernstück von LoongRL ist KeyChain, ein Syntheseansatz, der kurze Multi-Hop-Fragen in hochschwierige Aufgaben mit langen Kontexten umwandelt, indem UUID-Ketten eingefügt werden, die die eigentliche Frage in großen Sammlungen von ablenkenden Dokumenten verbergen. Um diese Aufgaben zu lösen, muss das Modell die richtige Kette Schritt für Schritt verfolgen, die wahre Frage identifizieren, relevante Fakten abrufen und über sie schlussfolgern, um korrekt zu antworten. Das RL-Training mit KeyChain-Daten induziert ein emergentes Planen-Abrufen-Schließen-Überprüfen-Denkmuster, das weit über die Trainingslänge hinaus generalisiert. Modelle, die bei 16K trainiert wurden, lösen effektiv 128K-Aufgaben, ohne prohibitive RL-Rollout-Kosten für die volle Länge zu verursachen. Bei Qwen2.5-7B und 14B verbessert LoongRL die Genauigkeit von Multi-Hop-Fragen in langen Kontexten erheblich mit absoluten Gewinnen von +23,5 % und +21,1 %. Das resultierende LoongRL-14B erreicht einen Wert von 74,2 und konkurriert mit viel größeren Spitzenmodellen wie o3-mini (74,5) und DeepSeek-R1 (74,9). Es verbessert auch das Abrufen in langen Kontexten, besteht alle 128K-Nadel-im-Heuhaufen-Stresstests und bewahrt die Fähigkeiten zum Schließen in kurzen Kontexten.

English

Reasoning over long contexts is essential for large language models. While reinforcement learning (RL) enhances short-context reasoning by inducing "Aha" moments in chain-of-thought, the advanced thinking patterns required for long-context reasoning remain largely unexplored, and high-difficulty RL data are scarce. In this paper, we introduce LoongRL, a data-driven RL method for advanced long-context reasoning. Central to LoongRL is KeyChain, a synthesis approach that transforms short multi-hop QA into high-difficulty long-context tasks by inserting UUID chains that hide the true question among large collections of distracting documents. Solving these tasks requires the model to trace the correct chain step-by-step, identify the true question, retrieve relevant facts and reason over them to answer correctly. RL training on KeyChain data induces an emergent plan-retrieve-reason-recheck reasoning pattern that generalizes far beyond training length. Models trained at 16K effectively solve 128K tasks without prohibitive full-length RL rollout costs. On Qwen2.5-7B and 14B, LoongRL substantially improves long-context multi-hop QA accuracy by +23.5% and +21.1% absolute gains. The resulting LoongRL-14B reaches a score of 74.2, rivaling much larger frontier models such as o3-mini (74.5) and DeepSeek-R1 (74.9). It also improves long-context retrieval, passes all 128K needle-in-a-haystack stress tests, and preserves short-context reasoning capabilities.