Повышение точности контекста с помощью нативного поисково-усиленного рассуждения

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

September 17, 2025

Авторы: Suyuchen Wang, Jinlin Wang, Xinyu Wang, Shiqi Li, Xiangru Tang, Sirui Hong, Xiao-Wen Chang, Chenglin Wu, Bang Liu

cs.AI

Аннотация

Крупные языковые модели (LLM) часто испытывают трудности с сохранением контекста, выдавая противоречивые ответы на вопросы, основанные на предоставленной информации. Существующие подходы либо полагаются на дорогостоящую контролируемую тонкую настройку для генерации доказательств после ответа, либо обучают модели выполнять веб-поиск, не обязательно улучшая использование заданного контекста. Мы предлагаем CARE — новую нативную структуру для рассуждений, усиленных поиском, которая учит LLM явно интегрировать доказательства из контекста в процесс рассуждений, используя собственные возможности модели для поиска. Наш метод требует ограниченного количества размеченных данных о доказательствах, при этом значительно повышая как точность поиска, так и качество генерации ответов за счет стратегически извлеченных токенов контекста в цепочке рассуждений. Многочисленные эксперименты на множестве реальных и контрфактических бенчмарков для вопросно-ответных задач демонстрируют, что наш подход существенно превосходит контролируемую тонкую настройку, традиционные методы генерации, усиленные поиском, и внешние решения для поиска. Эта работа представляет собой фундаментальный шаг вперед в повышении точности, надежности и эффективности LLM для задач, требующих глубоких знаний.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.