L'Effetto Distraente: Comprendere i Passaggi Irrilevanti nei Modelli RAG

The Distracting Effect: Understanding Irrelevant Passages in RAG

May 11, 2025

Autori: Chen Amiraz, Florin Cuconasu, Simone Filice, Zohar Karnin

cs.AI

Abstract

Un problema ben noto del Retrieval Augmented Generation (RAG) è che i passaggi recuperati irrilevanti rispetto alla query a volte distraggono il modello linguistico generativo (LLM), portandolo a fornire una risposta errata. In questo articolo, approfondiamo questo problema centrale e formuliamo l'effetto distraente di un passaggio rispetto a una query (e a un LLM). Forniamo una misura quantificabile dell'effetto distraente di un passaggio e dimostriamo la sua robustezza tra diversi LLM. La nostra ricerca introduce metodi innovativi per identificare e utilizzare passaggi fortemente distraenti per migliorare i sistemi RAG. Ottimizzando gli LLM con questi passaggi distraenti selezionati con cura, otteniamo un aumento fino al 7,5% nell'accuratezza delle risposte rispetto a modelli ottimizzati su dataset RAG convenzionali. Il nostro contributo è duplice: in primo luogo, andiamo oltre la semplice classificazione binaria dei passaggi irrilevanti come completamente non correlati o distraenti, e in secondo luogo, sviluppiamo e analizziamo più metodi per individuare passaggi fortemente distraenti. A nostra conoscenza, nessun'altra ricerca ha fornito un quadro così completo per l'identificazione e l'utilizzo di passaggi fortemente distraenti.

English

A well-known issue with Retrieval Augmented Generation (RAG) is that retrieved passages that are irrelevant to the query sometimes distract the answer-generating LLM, causing it to provide an incorrect response. In this paper, we shed light on this core issue and formulate the distracting effect of a passage w.r.t. a query (and an LLM). We provide a quantifiable measure of the distracting effect of a passage and demonstrate its robustness across LLMs. Our research introduces novel methods for identifying and using hard distracting passages to improve RAG systems. By fine-tuning LLMs with these carefully selected distracting passages, we achieve up to a 7.5% increase in answering accuracy compared to counterparts fine-tuned on conventional RAG datasets. Our contribution is two-fold: first, we move beyond the simple binary classification of irrelevant passages as either completely unrelated vs. distracting, and second, we develop and analyze multiple methods for finding hard distracting passages. To our knowledge, no other research has provided such a comprehensive framework for identifying and utilizing hard distracting passages.