Mejora de la Fidelidad del Contexto mediante el Razonamiento Aumentado con Recuperación Nativa

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

September 17, 2025

Autores: Suyuchen Wang, Jinlin Wang, Xinyu Wang, Shiqi Li, Xiangru Tang, Sirui Hong, Xiao-Wen Chang, Chenglin Wu, Bang Liu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) a menudo enfrentan dificultades con la fidelidad contextual, produciendo respuestas inconsistentes al responder preguntas basadas en información proporcionada. Los enfoques existentes dependen de un ajuste supervisado costoso para generar evidencia posterior a la respuesta o entrenan modelos para realizar búsquedas en la web sin necesariamente mejorar la utilización del contexto dado. Proponemos CARE, un novedoso marco de razonamiento aumentado con recuperación nativa que enseña a los LLMs a integrar explícitamente evidencia contextual dentro de su proceso de razonamiento utilizando sus propias capacidades de recuperación. Nuestro método requiere datos de evidencia etiquetados limitados, mientras mejora significativamente tanto la precisión de la recuperación como el rendimiento en la generación de respuestas mediante tokens contextuales recuperados estratégicamente en la cadena de razonamiento. Experimentos exhaustivos en múltiples puntos de referencia de preguntas y respuestas (QA) del mundo real y contrafactuales demuestran que nuestro enfoque supera sustancialmente el ajuste supervisado, los métodos tradicionales de generación aumentada con recuperación y las soluciones de recuperación externa. Este trabajo representa un avance fundamental para hacer que los LLMs sean más precisos, confiables y eficientes en tareas intensivas en conocimiento.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.