Generación Aumentada por Recuperación con Evidencia Conflictiva

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Autores: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Resumen

Los agentes de modelos de lenguaje de gran escala (LLM) están empleando cada vez más la generación aumentada por recuperación (RAG) para mejorar la factualidad de sus respuestas. Sin embargo, en la práctica, estos sistemas a menudo necesitan manejar consultas ambiguas de los usuarios e información potencialmente conflictiva de múltiples fuentes, al mismo tiempo que suprimen información inexacta proveniente de documentos ruidosos o irrelevantes. Trabajos previos generalmente han estudiado y abordado estos desafíos de manera aislada, considerando solo un aspecto a la vez, como manejar la ambigüedad o la robustez frente al ruido y la desinformación. En cambio, consideramos múltiples factores simultáneamente, proponiendo (i) RAMDocs (Recuperación con Ambigüedad y Desinformación en Documentos), un nuevo conjunto de datos que simula escenarios complejos y realistas de evidencia conflictiva para una consulta de usuario, incluyendo ambigüedad, desinformación y ruido; y (ii) MADAM-RAG, un enfoque multiagente en el que los agentes LLM debaten sobre los méritos de una respuesta a lo largo de múltiples rondas, permitiendo que un agregador compile respuestas correspondientes a entidades desambiguadas mientras descarta la desinformación y el ruido, manejando así diversas fuentes de conflicto de manera conjunta. Demostramos la efectividad de MADAM-RAG utilizando tanto modelos cerrados como de código abierto en AmbigDocs —que requiere presentar todas las respuestas válidas para consultas ambiguas—, superando a fuertes líneas base de RAG en hasta un 11.40%, y en FaithEval —que requiere suprimir la desinformación—, donde mejoramos en hasta un 15.80% (absoluto) con Llama3.3-70B-Instruct. Además, encontramos que RAMDocs representa un desafío para las líneas base de RAG existentes (Llama3.3-70B-Instruct solo obtiene un puntaje de coincidencia exacta de 32.60). Si bien MADAM-RAG comienza a abordar estos factores conflictivos, nuestro análisis indica que aún existe una brecha considerable, especialmente al aumentar el nivel de desequilibrio en la evidencia de apoyo y la desinformación.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.