Втянутые в конфликты: обнаружение и устранение противоречивых источников в поисково-усиленных больших языковых моделях
DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs
June 10, 2025
Авторы: Arie Cattan, Alon Jacovi, Ori Ram, Jonathan Herzig, Roee Aharoni, Sasha Goldshtein, Eran Ofek, Idan Szpektor, Avi Caciularu
cs.AI
Аннотация
Генерация с использованием извлеченных данных (Retrieval Augmented Generation, RAG) — это широко применяемый подход для улучшения больших языковых моделей (LLM) за счет добавления актуальной и релевантной информации. Однако извлеченные источники часто могут содержать противоречивые данные, и остается неясным, как модели должны справляться с такими расхождениями. В данной работе мы сначала предлагаем новую таксономию типов конфликтов знаний в RAG, а также желаемое поведение модели для каждого типа. Затем мы представляем CONFLICTS — высококачественный бенчмарк с экспертными аннотациями типов конфликтов в реалистичной среде RAG. CONFLICTS — это первый бенчмарк, который позволяет отслеживать прогресс в том, как модели справляются с широким спектром конфликтов знаний. Мы проводим обширные эксперименты на этом бенчмарке, показывая, что LLM часто испытывают трудности с корректным разрешением конфликтов между источниками. Хотя явное побуждение LLM к анализу потенциальных конфликтов в извлеченных документах значительно повышает качество и уместность их ответов, остается значительный простор для улучшений в будущих исследованиях.
English
Retrieval Augmented Generation (RAG) is a commonly used approach for
enhancing large language models (LLMs) with relevant and up-to-date
information. However, the retrieved sources can often contain conflicting
information and it remains unclear how models should address such
discrepancies. In this work, we first propose a novel taxonomy of knowledge
conflict types in RAG, along with the desired model behavior for each type. We
then introduce CONFLICTS, a high-quality benchmark with expert annotations of
conflict types in a realistic RAG setting. CONFLICTS is the first benchmark
that enables tracking progress on how models address a wide range of knowledge
conflicts. We conduct extensive experiments on this benchmark, showing that
LLMs often struggle to appropriately resolve conflicts between sources. While
prompting LLMs to explicitly reason about the potential conflict in the
retrieved documents significantly improves the quality and appropriateness of
their responses, substantial room for improvement in future research remains.