LoongRL : Apprentissage par Renforcement pour le Raisonnement Avancé sur des Contextes Longs

LoongRL:Reinforcement Learning for Advanced Reasoning over Long Contexts

October 22, 2025

papers.authors: Siyuan Wang, Gaokai Zhang, Li Lyna Zhang, Ning Shang, Fan Yang, Dongyao Chen, Mao Yang

cs.AI

papers.abstract

Le raisonnement sur des contextes longs est essentiel pour les grands modèles de langage. Bien que l'apprentissage par renforcement (RL) améliore le raisonnement sur des contextes courts en induisant des moments "Aha" dans les chaînes de pensée, les schémas de pensée avancés nécessaires pour le raisonnement sur des contextes longs restent largement inexplorés, et les données RL de haute difficulté sont rares. Dans cet article, nous présentons LoongRL, une méthode RL basée sur les données pour le raisonnement avancé sur des contextes longs. Au cœur de LoongRL se trouve KeyChain, une approche de synthèse qui transforme des questions-réponses multi-étapes courtes en tâches de contexte long de haute difficulté en insérant des chaînes UUID qui masquent la véritable question parmi de grandes collections de documents distracteurs. Résoudre ces tâches nécessite que le modèle suive la chaîne correcte étape par étape, identifie la véritable question, récupère les faits pertinents et raisonne sur eux pour répondre correctement. L'entraînement RL sur les données de KeyChain induit un schéma de raisonnement émergent planifier-récupérer-raisonner-revérifier qui se généralise bien au-delà de la longueur d'entraînement. Les modèles entraînés à 16K résolvent efficacement des tâches de 128K sans les coûts prohibitifs d'un déploiement RL complet. Sur Qwen2.5-7B et 14B, LoongRL améliore considérablement la précision des questions-réponses multi-étapes sur des contextes longs avec des gains absolus de +23,5 % et +21,1 %. Le modèle LoongRL-14B résultant atteint un score de 74,2, rivalisant avec des modèles frontaliers beaucoup plus grands tels que o3-mini (74,5) et DeepSeek-R1 (74,9). Il améliore également la récupération sur des contextes longs, réussit tous les tests de stress "aiguille dans une botte de foin" de 128K, et préserve les capacités de raisonnement sur des contextes courts.

English

Reasoning over long contexts is essential for large language models. While reinforcement learning (RL) enhances short-context reasoning by inducing "Aha" moments in chain-of-thought, the advanced thinking patterns required for long-context reasoning remain largely unexplored, and high-difficulty RL data are scarce. In this paper, we introduce LoongRL, a data-driven RL method for advanced long-context reasoning. Central to LoongRL is KeyChain, a synthesis approach that transforms short multi-hop QA into high-difficulty long-context tasks by inserting UUID chains that hide the true question among large collections of distracting documents. Solving these tasks requires the model to trace the correct chain step-by-step, identify the true question, retrieve relevant facts and reason over them to answer correctly. RL training on KeyChain data induces an emergent plan-retrieve-reason-recheck reasoning pattern that generalizes far beyond training length. Models trained at 16K effectively solve 128K tasks without prohibitive full-length RL rollout costs. On Qwen2.5-7B and 14B, LoongRL substantially improves long-context multi-hop QA accuracy by +23.5% and +21.1% absolute gains. The resulting LoongRL-14B reaches a score of 74.2, rivaling much larger frontier models such as o3-mini (74.5) and DeepSeek-R1 (74.9). It also improves long-context retrieval, passes all 128K needle-in-a-haystack stress tests, and preserves short-context reasoning capabilities.