Génération Augmentée par Récupération avec Preuves Conflictuelles

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Auteurs: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Résumé

Les agents de modèles de langage de grande taille (LLM) utilisent de plus en plus la génération augmentée par récupération (RAG) pour améliorer la factualité de leurs réponses. Cependant, en pratique, ces systèmes doivent souvent gérer des requêtes utilisateur ambiguës et des informations potentiellement conflictuelles provenant de multiples sources, tout en supprimant les informations inexactes issues de documents bruyants ou non pertinents. Les travaux antérieurs ont généralement étudié et abordé ces défis de manière isolée, en ne considérant qu'un aspect à la fois, comme la gestion de l'ambiguïté ou la robustesse au bruit et à la désinformation. Nous considérons plutôt plusieurs facteurs simultanément, en proposant (i) RAMDocs (Récupération avec Ambiguïté et Désinformation dans les Documents), un nouveau jeu de données qui simule des scénarios complexes et réalistes de preuves conflictuelles pour une requête utilisateur, incluant l'ambiguïté, la désinformation et le bruit ; et (ii) MADAM-RAG, une approche multi-agents dans laquelle des agents LLM débattent des mérites d'une réponse sur plusieurs tours, permettant à un agrégateur de compiler les réponses correspondant à des entités désambiguïsées tout en écartant la désinformation et le bruit, gérant ainsi conjointement diverses sources de conflit. Nous démontrons l'efficacité de MADAM-RAG en utilisant des modèles propriétaires et open-source sur AmbigDocs -- qui nécessite de présenter toutes les réponses valides pour des requêtes ambiguës -- en améliorant les performances par rapport à des bases de référence RAG solides jusqu'à 11,40 %, et sur FaithEval -- qui nécessite de supprimer la désinformation -- où nous améliorons jusqu'à 15,80 % (en valeur absolue) avec Llama3.3-70B-Instruct. De plus, nous constatons que RAMDocs représente un défi pour les bases de référence RAG existantes (Llama3.3-70B-Instruct n'obtient qu'un score de correspondance exacte de 32,60). Bien que MADAM-RAG commence à aborder ces facteurs conflictuels, notre analyse indique qu'un écart substantiel subsiste, en particulier lorsque le niveau de déséquilibre dans les preuves soutenant une réponse et la désinformation augmente.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.