Generazione Aumentata dal Recupero con Prove Contrastanti

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Autori: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) stanno sempre più utilizzando la generazione aumentata dal recupero (RAG) per migliorare la veridicità delle loro risposte. Tuttavia, nella pratica, questi sistemi spesso devono gestire query ambigue da parte degli utenti e informazioni potenzialmente conflittuali provenienti da più fonti, oltre a sopprimere informazioni inesatte provenienti da documenti rumorosi o irrilevanti. I lavori precedenti hanno generalmente studiato e affrontato queste sfide in modo isolato, considerando solo un aspetto alla volta, come la gestione dell'ambiguità o la robustezza al rumore e alla disinformazione. Noi, invece, consideriamo più fattori simultaneamente, proponendo (i) RAMDocs (Recupero con Ambiguità e Disinformazione nei Documenti), un nuovo dataset che simula scenari complessi e realistici di evidenze conflittuali per una query dell'utente, inclusi ambiguità, disinformazione e rumore; e (ii) MADAM-RAG, un approccio multi-agente in cui gli agenti LLM dibattono sui meriti di una risposta attraverso più round, consentendo a un aggregatore di raccogliere risposte corrispondenti a entità disambiguate mentre scarta disinformazione e rumore, gestendo così congiuntamente diverse fonti di conflitto. Dimostriamo l'efficacia di MADAM-RAG utilizzando sia modelli closed che open-source su AmbigDocs -- che richiede di presentare tutte le risposte valide per query ambigue -- migliorando rispetto a forti baseline RAG fino all'11,40%, e su FaithEval -- che richiede di sopprimere la disinformazione -- dove miglioriamo fino al 15,80% (in termini assoluti) con Llama3.3-70B-Instruct. Inoltre, troviamo che RAMDocs rappresenta una sfida per le baseline RAG esistenti (Llama3.3-70B-Instruct ottiene solo un punteggio di esatto match del 32,60). Mentre MADAM-RAG inizia ad affrontare questi fattori conflittuali, la nostra analisi indica che rimane un divario sostanziale, specialmente quando si aumenta il livello di squilibrio nelle evidenze a supporto e nella disinformazione.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.