Когда Мысли Сталкиваются с Фактами: Повторно Используемое Мышление для Языковых Моделей с Длинным Контекстом

When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

October 8, 2025

Авторы: Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang

cs.AI

Аннотация

Современные языковые модели с длинным контекстом (LCLM) способны обрабатывать сотни тысяч токенов в одном запросе, открывая новые возможности для интеллектуального многошагового рассуждения за счет интеграции больших наборов извлеченных документов или, в некоторых случаях, непосредственно всей необходимой информации. Однако простое добавление большего количества документов в контекстное окно не позволяет учесть, как следует связывать доказательства. Мы устраняем этот пробел с помощью шаблонов рассуждений, которые переосмысливают рассуждения как повторно используемые кэши мыслей, извлеченные из предыдущих следов решения задач, структурируя объединение доказательств и направляя многошаговый вывод с использованием фактологических документов. Чтобы поддерживать эффективность этих шаблонов, мы предлагаем стратегию обновления, которая итеративно уточняет шаблоны, полученные из обучающих данных, с помощью обратной связи на естественном языке. На различных бенчмарках и семействах LCLM наш подход демонстрирует стабильные улучшения по сравнению с сильными базовыми методами как в условиях с извлечением данных, так и без него. Кроме того, мы показываем, что оптимизированные шаблоны могут быть дистиллированы в меньшие модели с открытым исходным кодом, что демонстрирует широкую применимость и прозрачное повторное использование рассуждений. Мы называем наш фреймворк LCLM, усиленными шаблонами рассуждений (Thought Template Augmented LCLMs, ToTAL).

English

Recent Long-Context Language Models (LCLMs) can process hundreds of thousands of tokens in a single prompt, enabling new opportunities for knowledge-intensive multi-hop reasoning by integrating large sets of retrieved documents or, in some cases, directly all necessary information. However, simply feeding more documents into the context window fails to capture how evidence should be connected. We address this gap with thought templates, which recast reasoning as reusable thought caches, derived from prior problem solving traces, structuring how evidence is combined and guiding multi-hop inference with factual documents. To keep these templates effective, we propose an update strategy that iteratively refines templates derived from training data through natural-language feedback. Across diverse benchmarks and LCLM families, our approach delivers consistent gains over strong baselines in both retrieval-based and retrieval-free settings. Furthermore, we show that optimized templates can be distilled into smaller open-source models, demonstrating its broad applicability and transparent reasoning reuse. We refer to our framework as Thought Template Augmented LCLMs (ToTAL).