Migliorare la Fedeltà del Contesto tramite Ragionamento Aumentato con Recupero Nativo

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

September 17, 2025

Autori: Suyuchen Wang, Jinlin Wang, Xinyu Wang, Shiqi Li, Xiangru Tang, Sirui Hong, Xiao-Wen Chang, Chenglin Wu, Bang Liu

cs.AI

Abstract

I grandi modelli linguistici (LLM) spesso faticano a mantenere la fedeltà al contesto, producendo risposte incoerenti quando rispondono a domande basate su informazioni fornite. Gli approcci esistenti si basano su costosi processi di fine-tuning supervisionato per generare evidenze dopo la risposta o addestrano i modelli a eseguire ricerche web senza necessariamente migliorare l'utilizzo del contesto dato. Proponiamo CARE, un innovativo framework di ragionamento potenziato dal recupero nativo che insegna agli LLM a integrare esplicitamente evidenze contestuali nel loro processo di ragionamento, sfruttando le capacità di recupero del modello stesso. Il nostro metodo richiede una quantità limitata di dati di evidenza etichettati, migliorando significativamente sia l'accuratezza del recupero che le prestazioni nella generazione delle risposte attraverso token contestuali recuperati strategicamente nella catena di ragionamento. Esperimenti estesi su molteplici benchmark di QA reali e controfattuali dimostrano che il nostro approccio supera sostanzialmente il fine-tuning supervisionato, i tradizionali metodi di generazione potenziati dal recupero e le soluzioni di recupero esterne. Questo lavoro rappresenta un progresso fondamentale nel rendere gli LLM più accurati, affidabili ed efficienti per compiti ad alta intensità di conoscenza.

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.