Geração Aumentada por Recuperação com Evidências Conflitantes

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Autores: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Resumo

Agentes de modelos de linguagem de grande escala (LLM) estão empregando cada vez mais a geração aumentada por recuperação (RAG) para melhorar a factualidade de suas respostas. No entanto, na prática, esses sistemas frequentemente precisam lidar com consultas ambíguas dos usuários e informações potencialmente conflitantes de múltiplas fontes, ao mesmo tempo que suprimem informações imprecisas provenientes de documentos ruidosos ou irrelevantes. Trabalhos anteriores geralmente estudaram e abordaram esses desafios de forma isolada, considerando apenas um aspecto por vez, como o tratamento de ambiguidades ou a robustez a ruídos e desinformação. Em vez disso, consideramos múltiplos fatores simultaneamente, propondo (i) RAMDocs (Recuperação com Ambiguidade e Desinformação em Documentos), um novo conjunto de dados que simula cenários complexos e realistas de evidências conflitantes para uma consulta do usuário, incluindo ambiguidade, desinformação e ruído; e (ii) MADAM-RAG, uma abordagem multiagente na qual agentes LLM debatem sobre os méritos de uma resposta ao longo de múltiplas rodadas, permitindo que um agregador compile respostas correspondentes a entidades desambiguadas enquanto descarta desinformação e ruído, lidando assim com diversas fontes de conflito de forma conjunta. Demonstramos a eficácia do MADAM-RAG usando tanto modelos fechados quanto de código aberto no AmbigDocs — que exige a apresentação de todas as respostas válidas para consultas ambíguas — superando baselines RAG fortes em até 11,40%, e no FaithEval — que exige a supressão de desinformação — onde melhoramos em até 15,80% (absoluto) com o Llama3.3-70B-Instruct. Além disso, constatamos que o RAMDocs representa um desafio para as baselines RAG existentes (o Llama3.3-70B-Instruct obtém apenas 32,60 de pontuação exata). Embora o MADAM-RAG comece a abordar esses fatores conflitantes, nossa análise indica que ainda há uma lacuna substancial, especialmente ao aumentar o nível de desequilíbrio nas evidências de suporte e na desinformação.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.