Retrieval-Augmentierte Generierung mit widersprüchlichen Beweisen

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Autoren: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Zusammenfassung

Große Sprachmodell-Agenten (LLM-Agenten) setzen zunehmend retrieval-augmentierte Generierung (RAG) ein, um die Faktentreue ihrer Antworten zu verbessern. In der Praxis müssen diese Systeme jedoch oft mit mehrdeutigen Benutzeranfragen und potenziell widersprüchlichen Informationen aus mehreren Quellen umgehen, während sie gleichzeitig ungenaue Informationen aus verrauschten oder irrelevanten Dokumenten unterdrücken müssen. Bisherige Arbeiten haben diese Herausforderungen in der Regel isoliert betrachtet und jeweils nur einen Aspekt behandelt, wie z. B. den Umgang mit Mehrdeutigkeit oder die Robustheit gegenüber Rauschen und Fehlinformationen. Wir betrachten stattdessen mehrere Faktoren gleichzeitig und schlagen (i) RAMDocs (Retrieval mit Mehrdeutigkeit und Fehlinformationen in Dokumenten) vor, einen neuen Datensatz, der komplexe und realistische Szenarien für widersprüchliche Beweise zu einer Benutzeranfrage simuliert, einschließlich Mehrdeutigkeit, Fehlinformationen und Rauschen; und (ii) MADAM-RAG, einen Multi-Agenten-Ansatz, bei dem LLM-Agenten in mehreren Runden über die Vorzüge einer Antwort diskutieren, sodass ein Aggregator Antworten zu eindeutigen Entitäten zusammenfassen kann, während Fehlinformationen und Rauschen verworfen werden, wodurch verschiedene Konfliktquellen gemeinsam behandelt werden. Wir demonstrieren die Wirksamkeit von MADAM-RAG sowohl mit geschlossenen als auch mit Open-Source-Modellen auf AmbigDocs – das die Darstellung aller gültigen Antworten auf mehrdeutige Anfragen erfordert – und verbessern starke RAG-Baselines um bis zu 11,40 %. Auf FaithEval – das die Unterdrückung von Fehlinformationen erfordert – verbessern wir mit Llama3.3-70B-Instruct um bis zu 15,80 % (absolut). Darüber hinaus stellen wir fest, dass RAMDocs eine Herausforderung für bestehende RAG-Baselines darstellt (Llama3.3-70B-Instruct erreicht nur einen exakten Übereinstimmungswert von 32,60). Während MADAM-RAG beginnt, diese widersprüchlichen Faktoren zu adressieren, zeigt unsere Analyse, dass insbesondere bei zunehmendem Ungleichgewicht in unterstützenden Beweisen und Fehlinformationen eine erhebliche Lücke bleibt.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.