Wenn Gedanken auf Fakten treffen: Wiederverwendbares Denken für Langkontext-Sprachmodelle

When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

October 8, 2025

papers.authors: Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang

cs.AI

papers.abstract

Aktuelle Long-Context Language Models (LCLMs) können Hunderttausende von Tokens in einer einzigen Eingabe verarbeiten, wodurch neue Möglichkeiten für wissensintensives Multi-Hop-Reasoning entstehen, indem große Mengen abgerufener Dokumente oder in einigen Fällen direkt alle notwendigen Informationen integriert werden. Allerdings erfasst das bloße Einfügen weiterer Dokumente in das Kontextfenster nicht, wie Beweise miteinander verbunden werden sollten. Wir schließen diese Lücke mit Gedankenvorlagen, die das Reasoning als wiederverwendbare Gedankencaches neu formulieren, die aus vorherigen Problemlösungsspuren abgeleitet werden. Diese strukturieren, wie Beweise kombiniert werden, und leiten Multi-Hop-Inferenzen mit faktischen Dokumenten an. Um diese Vorlagen effektiv zu halten, schlagen wir eine Aktualisierungsstrategie vor, die Vorlagen aus Trainingsdaten durch natürliche Sprachfeedback iterativ verfeinert. Über verschiedene Benchmarks und LCLM-Familien hinweg erzielt unser Ansatz konsistente Verbesserungen gegenüber starken Baselines sowohl in retrievalbasierten als auch in retrievalfreien Szenarien. Darüber hinaus zeigen wir, dass optimierte Vorlagen in kleinere Open-Source-Modelle destilliert werden können, was die breite Anwendbarkeit und transparente Wiederverwendung des Reasonings demonstriert. Wir bezeichnen unser Framework als Thought Template Augmented LCLMs (ToTAL).

English

Recent Long-Context Language Models (LCLMs) can process hundreds of thousands of tokens in a single prompt, enabling new opportunities for knowledge-intensive multi-hop reasoning by integrating large sets of retrieved documents or, in some cases, directly all necessary information. However, simply feeding more documents into the context window fails to capture how evidence should be connected. We address this gap with thought templates, which recast reasoning as reusable thought caches, derived from prior problem solving traces, structuring how evidence is combined and guiding multi-hop inference with factual documents. To keep these templates effective, we propose an update strategy that iteratively refines templates derived from training data through natural-language feedback. Across diverse benchmarks and LCLM families, our approach delivers consistent gains over strong baselines in both retrieval-based and retrieval-free settings. Furthermore, we show that optimized templates can be distilled into smaller open-source models, demonstrating its broad applicability and transparent reasoning reuse. We refer to our framework as Thought Template Augmented LCLMs (ToTAL).