LoongRL: Reinforcement Learning voor Geavanceerd Redeneren over Lange Contexten

LoongRL:Reinforcement Learning for Advanced Reasoning over Long Contexts

October 22, 2025

Auteurs: Siyuan Wang, Gaokai Zhang, Li Lyna Zhang, Ning Shang, Fan Yang, Dongyao Chen, Mao Yang

cs.AI

Samenvatting

Redeneren over lange contexten is essentieel voor grote taalmodellen. Hoewel reinforcement learning (RL) kort-context redeneren verbetert door "Aha"-momenten te induceren in ketens van gedachten, blijven de geavanceerde denkpatronen die nodig zijn voor lang-context redeneren grotendeels onontgonnen, en zijn hoogcomplexe RL-data schaars. In dit artikel introduceren we LoongRL, een data-gedreven RL-methode voor geavanceerd lang-context redeneren. Centraal in LoongRL staat KeyChain, een synthesemethode die korte multi-hop QA omzet in hoogcomplexe lang-context taken door UUID-ketens in te voegen die de echte vraag verbergen tussen grote verzamelingen afleidende documenten. Het oplossen van deze taken vereist dat het model de juiste keten stap-voor-stap volgt, de echte vraag identificeert, relevante feiten ophaalt en hierover redeneert om correct te antwoorden. RL-training op KeyChain-data induceert een emergent plan-retrieve-reason-recheck redeneerpatroon dat ver generaliseert buiten de trainingslengte. Modellen getraind op 16K lossen effectief 128K taken op zonder verbijsterende volledige RL-rolloutkosten. Op Qwen2.5-7B en 14B verbetert LoongRL de nauwkeurigheid van lang-context multi-hop QA aanzienlijk met absolute winsten van +23.5% en +21.1%. Het resulterende LoongRL-14B bereikt een score van 74.2, wat concurreert met veel grotere frontiermodellen zoals o3-mini (74.5) en DeepSeek-R1 (74.9). Het verbetert ook lang-context retrieval, doorstaat alle 128K naald-in-een-hooiberg stresstests, en behoudt kort-context redeneervaardigheden.

English

Reasoning over long contexts is essential for large language models. While reinforcement learning (RL) enhances short-context reasoning by inducing "Aha" moments in chain-of-thought, the advanced thinking patterns required for long-context reasoning remain largely unexplored, and high-difficulty RL data are scarce. In this paper, we introduce LoongRL, a data-driven RL method for advanced long-context reasoning. Central to LoongRL is KeyChain, a synthesis approach that transforms short multi-hop QA into high-difficulty long-context tasks by inserting UUID chains that hide the true question among large collections of distracting documents. Solving these tasks requires the model to trace the correct chain step-by-step, identify the true question, retrieve relevant facts and reason over them to answer correctly. RL training on KeyChain data induces an emergent plan-retrieve-reason-recheck reasoning pattern that generalizes far beyond training length. Models trained at 16K effectively solve 128K tasks without prohibitive full-length RL rollout costs. On Qwen2.5-7B and 14B, LoongRL substantially improves long-context multi-hop QA accuracy by +23.5% and +21.1% absolute gains. The resulting LoongRL-14B reaches a score of 74.2, rivaling much larger frontier models such as o3-mini (74.5) and DeepSeek-R1 (74.9). It also improves long-context retrieval, passes all 128K needle-in-a-haystack stress tests, and preserves short-context reasoning capabilities.