Wanneer Gedachten Feiten Ontmoeten: Herbruikbare Redenering voor Taalmodellen met Lange Context

When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

October 8, 2025

Auteurs: Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang

cs.AI

Samenvatting

Recente Long-Context Taalmodellen (LCLMs) kunnen honderdduizenden tokens in een enkele prompt verwerken, wat nieuwe mogelijkheden biedt voor kennisintensieve multi-hop redenering door grote sets opgehaalde documenten te integreren of, in sommige gevallen, direct alle benodigde informatie. Echter, simpelweg meer documenten in het contextvenster voeren, faalt om vast te leggen hoe bewijs met elkaar verbonden zou moeten worden. Wij adresseren deze kloof met gedachtesjablonen, die redenering herformuleren als herbruikbare gedachtencaches, afgeleid van eerdere probleemoplossingstrajecten, die structureren hoe bewijs wordt gecombineerd en multi-hop inferentie begeleiden met feitelijke documenten. Om deze sjablonen effectief te houden, stellen we een update-strategie voor die sjablonen afgeleid van trainingsdata iteratief verfijnt door middel van feedback in natuurlijke taal. Over diverse benchmarks en LCLM-families heen levert onze aanpak consistente verbeteringen op ten opzichte van sterke basislijnen, zowel in opzoekingsgebaseerde als opzoekingsvrije settings. Bovendien tonen we aan dat geoptimaliseerde sjablonen kunnen worden gedistilleerd in kleinere open-source modellen, wat de brede toepasbaarheid en transparante hergebruik van redenering aantoont. Wij verwijzen naar ons framework als Thought Template Augmented LCLMs (ToTAL).

English

Recent Long-Context Language Models (LCLMs) can process hundreds of thousands of tokens in a single prompt, enabling new opportunities for knowledge-intensive multi-hop reasoning by integrating large sets of retrieved documents or, in some cases, directly all necessary information. However, simply feeding more documents into the context window fails to capture how evidence should be connected. We address this gap with thought templates, which recast reasoning as reusable thought caches, derived from prior problem solving traces, structuring how evidence is combined and guiding multi-hop inference with factual documents. To keep these templates effective, we propose an update strategy that iteratively refines templates derived from training data through natural-language feedback. Across diverse benchmarks and LCLM families, our approach delivers consistent gains over strong baselines in both retrieval-based and retrieval-free settings. Furthermore, we show that optimized templates can be distilled into smaller open-source models, demonstrating its broad applicability and transparent reasoning reuse. We refer to our framework as Thought Template Augmented LCLMs (ToTAL).