Melhorando a Fidelidade de Contexto por meio de Raciocínio Aumentado por Recuperação Nativa

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

September 17, 2025

Autores: Suyuchen Wang, Jinlin Wang, Xinyu Wang, Shiqi Li, Xiangru Tang, Sirui Hong, Xiao-Wen Chang, Chenglin Wu, Bang Liu

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) frequentemente enfrentam dificuldades com a fidelidade ao contexto, produzindo respostas inconsistentes ao responder a perguntas baseadas em informações fornecidas. As abordagens existentes ou dependem de ajuste fino supervisionado custoso para gerar evidências após a resposta ou treinam modelos para realizar buscas na web sem necessariamente melhorar a utilização do contexto fornecido. Propomos o CARE, uma nova estrutura de raciocínio aumentado por recuperação nativa que ensina LLMs a integrar explicitamente evidências no contexto em seu processo de raciocínio com as próprias capacidades de recuperação do modelo. Nosso método requer dados de evidência rotulados limitados, enquanto melhora significativamente tanto a precisão da recuperação quanto o desempenho da geração de respostas por meio de tokens recuperados estrategicamente na cadeia de raciocínio. Experimentos extensivos em múltiplos benchmarks de QA do mundo real e contrafactuais demonstram que nossa abordagem supera substancialmente o ajuste fino supervisionado, métodos tradicionais de geração aumentada por recuperação e soluções de recuperação externa. Este trabalho representa um avanço fundamental em tornar LLMs mais precisos, confiáveis e eficientes para tarefas intensivas em conhecimento.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.