Amélioration de la fidélité contextuelle par raisonnement augmenté par récupération native

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

September 17, 2025

papers.authors: Suyuchen Wang, Jinlin Wang, Xinyu Wang, Shiqi Li, Xiangru Tang, Sirui Hong, Xiao-Wen Chang, Chenglin Wu, Bang Liu

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) peinent souvent à maintenir la fidélité contextuelle, produisant des réponses incohérentes lorsqu'ils répondent à des questions basées sur des informations fournies. Les approches existantes reposent soit sur un réglage supervisé coûteux pour générer des preuves après la réponse, soit sur l'entraînement des modèles à effectuer des recherches sur le web sans nécessairement améliorer l'utilisation du contexte donné. Nous proposons CARE, un nouveau cadre de raisonnement augmenté par récupération native, qui enseigne aux LLMs à intégrer explicitement des preuves contextuelles dans leur processus de raisonnement en utilisant leurs propres capacités de récupération. Notre méthode nécessite un nombre limité de données de preuves étiquetées tout en améliorant significativement à la fois la précision de la récupération et la performance de génération de réponses grâce à des jetons contextuels stratégiquement récupérés dans la chaîne de raisonnement. Des expériences approfondies sur plusieurs benchmarks de questions-réponses (QA) réels et contrefactuels démontrent que notre approche surpasse substantiellement le réglage supervisé, les méthodes traditionnelles de génération augmentée par récupération et les solutions de récupération externes. Ce travail représente une avancée fondamentale pour rendre les LLMs plus précis, fiables et efficaces pour les tâches nécessitant une connaissance approfondie.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.