Cuando los pensamientos encuentran hechos: Razonamiento reutilizable para modelos de lenguaje de contexto largo

When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

October 8, 2025

Autores: Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang

cs.AI

Resumen

Los modelos de lenguaje de contexto largo recientes (LCLMs, por sus siglas en inglés) pueden procesar cientos de miles de tokens en una sola instrucción, lo que abre nuevas oportunidades para el razonamiento multi-hop intensivo en conocimiento al integrar grandes conjuntos de documentos recuperados o, en algunos casos, directamente toda la información necesaria. Sin embargo, simplemente alimentar más documentos en la ventana de contexto no logra capturar cómo deberían conectarse las evidencias. Abordamos esta brecha con plantillas de pensamiento, que reformulan el razonamiento como cachés de pensamiento reutilizables, derivados de trazas previas de resolución de problemas, estructurando cómo se combinan las evidencias y guiando la inferencia multi-hop con documentos factuales. Para mantener efectivas estas plantillas, proponemos una estrategia de actualización que refina iterativamente las plantillas derivadas de datos de entrenamiento a través de retroalimentación en lenguaje natural. En diversos benchmarks y familias de LCLMs, nuestro enfoque ofrece mejoras consistentes sobre líneas base sólidas tanto en entornos basados en recuperación como libres de recuperación. Además, demostramos que las plantillas optimizadas pueden destilarse en modelos de código abierto más pequeños, evidenciando su amplia aplicabilidad y la reutilización transparente del razonamiento. Nos referimos a nuestro marco como LCLMs Aumentados con Plantillas de Pensamiento (ToTAL, por sus siglas en inglés).

English

Recent Long-Context Language Models (LCLMs) can process hundreds of thousands of tokens in a single prompt, enabling new opportunities for knowledge-intensive multi-hop reasoning by integrating large sets of retrieved documents or, in some cases, directly all necessary information. However, simply feeding more documents into the context window fails to capture how evidence should be connected. We address this gap with thought templates, which recast reasoning as reusable thought caches, derived from prior problem solving traces, structuring how evidence is combined and guiding multi-hop inference with factual documents. To keep these templates effective, we propose an update strategy that iteratively refines templates derived from training data through natural-language feedback. Across diverse benchmarks and LCLM families, our approach delivers consistent gains over strong baselines in both retrieval-based and retrieval-free settings. Furthermore, we show that optimized templates can be distilled into smaller open-source models, demonstrating its broad applicability and transparent reasoning reuse. We refer to our framework as Thought Template Augmented LCLMs (ToTAL).