Retrieval-Augmented Generation met Tegenstrijdig Bewijs

Retrieval-Augmented Generation with Conflicting Evidence

April 17, 2025

Auteurs: Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Samenvatting

Grote taalmodellen (LLM) gebruiken steeds vaker retrieval-augmented generation (RAG) om de feitelijkheid van hun antwoorden te verbeteren. In de praktijk moeten deze systemen echter vaak omgaan met ambiguïteit in gebruikersvragen en mogelijk tegenstrijdige informatie uit meerdere bronnen, terwijl ze ook onnauwkeurige informatie uit rommelige of irrelevante documenten moeten onderdrukken. Eerder onderzoek heeft deze uitdagingen over het algemeen geïsoleerd bestudeerd en aangepakt, waarbij slechts één aspect tegelijk werd overwogen, zoals het omgaan met ambiguïteit of robuustheid tegen ruis en desinformatie. Wij beschouwen daarentegen meerdere factoren tegelijkertijd en stellen (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents) voor, een nieuwe dataset die complexe en realistische scenario's simuleert voor tegenstrijdig bewijs bij een gebruikersvraag, inclusief ambiguïteit, desinformatie en ruis; en (ii) MADAM-RAG, een multi-agentbenadering waarbij LLM-agents in meerdere rondes debatteren over de kwaliteit van een antwoord, waardoor een aggregator reacties kan samenvoegen die corresponderen met gedisambigueerde entiteiten, terwijl desinformatie en ruis worden weggefilterd, waardoor diverse bronnen van conflict gezamenlijk worden aangepakt. We demonstreren de effectiviteit van MADAM-RAG met zowel gesloten als open-source modellen op AmbigDocs -- waarbij alle geldige antwoorden voor ambigue vragen moeten worden gepresenteerd -- en verbeteren sterke RAG-baselines met tot 11,40%, en op FaithEval -- waarbij desinformatie moet worden onderdrukt -- waar we met Llama3.3-70B-Instruct tot 15,80% (absoluut) verbeteren. Bovendien stellen we vast dat RAMDocs een uitdaging vormt voor bestaande RAG-baselines (Llama3.3-70B-Instruct behaalt slechts een exacte overeenkomstscore van 32,60). Hoewel MADAM-RAG een begin maakt met het aanpakken van deze tegenstrijdige factoren, geeft onze analyse aan dat er nog steeds een aanzienlijke kloof bestaat, vooral wanneer het niveau van onbalans in ondersteunend bewijs en desinformatie toeneemt.

English

Large language model (LLM) agents are increasingly employing retrieval-augmented generation (RAG) to improve the factuality of their responses. However, in practice, these systems often need to handle ambiguous user queries and potentially conflicting information from multiple sources while also suppressing inaccurate information from noisy or irrelevant documents. Prior work has generally studied and addressed these challenges in isolation, considering only one aspect at a time, such as handling ambiguity or robustness to noise and misinformation. We instead consider multiple factors simultaneously, proposing (i) RAMDocs (Retrieval with Ambiguity and Misinformation in Documents), a new dataset that simulates complex and realistic scenarios for conflicting evidence for a user query, including ambiguity, misinformation, and noise; and (ii) MADAM-RAG, a multi-agent approach in which LLM agents debate over the merits of an answer over multiple rounds, allowing an aggregator to collate responses corresponding to disambiguated entities while discarding misinformation and noise, thereby handling diverse sources of conflict jointly. We demonstrate the effectiveness of MADAM-RAG using both closed and open-source models on AmbigDocs -- which requires presenting all valid answers for ambiguous queries -- improving over strong RAG baselines by up to 11.40% and on FaithEval -- which requires suppressing misinformation -- where we improve by up to 15.80% (absolute) with Llama3.3-70B-Instruct. Furthermore, we find that RAMDocs poses a challenge for existing RAG baselines (Llama3.3-70B-Instruct only obtains 32.60 exact match score). While MADAM-RAG begins to address these conflicting factors, our analysis indicates that a substantial gap remains especially when increasing the level of imbalance in supporting evidence and misinformation.