LoongRL: Aprendizaje por Refuerzo para el Razonamiento Avanzado en Contextos Extensos

Resumen

El razonamiento sobre contextos extensos es esencial para los modelos de lenguaje de gran escala. Si bien el aprendizaje por refuerzo (RL, por sus siglas en inglés) mejora el razonamiento en contextos cortos al inducir momentos de "¡Ajá!" en cadenas de pensamiento, los patrones de pensamiento avanzados necesarios para el razonamiento en contextos largos siguen siendo en gran medida inexplorados, y los datos de RL de alta dificultad son escasos. En este artículo, presentamos LoongRL, un método de RL basado en datos para el razonamiento avanzado en contextos largos. El núcleo de LoongRL es KeyChain, un enfoque de síntesis que transforma preguntas y respuestas (QA) de múltiples saltos en tareas de contexto largo de alta dificultad mediante la inserción de cadenas UUID que ocultan la pregunta verdadera entre grandes colecciones de documentos distractores. Resolver estas tareas requiere que el modelo siga la cadena correcta paso a paso, identifique la pregunta verdadera, recupere hechos relevantes y razone sobre ellos para responder correctamente. El entrenamiento de RL con datos de KeyChain induce un patrón emergente de razonamiento planificar-recuperar-razonar-verificar que se generaliza mucho más allá de la longitud de entrenamiento. Los modelos entrenados con 16K resuelven efectivamente tareas de 128K sin los costos prohibitivos de un despliegue completo de RL. En Qwen2.5-7B y 14B, LoongRL mejora sustancialmente la precisión en QA de múltiples saltos en contextos largos con ganancias absolutas de +23.5% y +21.1%. El modelo resultante LoongRL-14B alcanza una puntuación de 74.2, rivalizando con modelos frontera mucho más grandes como o3-mini (74.5) y DeepSeek-R1 (74.9). También mejora la recuperación en contextos largos, supera todas las pruebas de estrés de "aguja en un pajar" de 128K y preserva las capacidades de razonamiento en contextos cortos.

English

Reasoning over long contexts is essential for large language models. While reinforcement learning (RL) enhances short-context reasoning by inducing "Aha" moments in chain-of-thought, the advanced thinking patterns required for long-context reasoning remain largely unexplored, and high-difficulty RL data are scarce. In this paper, we introduce LoongRL, a data-driven RL method for advanced long-context reasoning. Central to LoongRL is KeyChain, a synthesis approach that transforms short multi-hop QA into high-difficulty long-context tasks by inserting UUID chains that hide the true question among large collections of distracting documents. Solving these tasks requires the model to trace the correct chain step-by-step, identify the true question, retrieve relevant facts and reason over them to answer correctly. RL training on KeyChain data induces an emergent plan-retrieve-reason-recheck reasoning pattern that generalizes far beyond training length. Models trained at 16K effectively solve 128K tasks without prohibitive full-length RL rollout costs. On Qwen2.5-7B and 14B, LoongRL substantially improves long-context multi-hop QA accuracy by +23.5% and +21.1% absolute gains. The resulting LoongRL-14B reaches a score of 74.2, rivaling much larger frontier models such as o3-mini (74.5) and DeepSeek-R1 (74.9). It also improves long-context retrieval, passes all 128K needle-in-a-haystack stress tests, and preserves short-context reasoning capabilities.

LoongRL: Aprendizaje por Refuerzo para el Razonamiento Avanzado en Contextos Extensos

LoongRL:Reinforcement Learning for Advanced Reasoning over Long Contexts

Resumen

Support