Leiden RAG-Systeme unter Positionsverzerrung?

Do RAG Systems Suffer From Positional Bias?

May 21, 2025

Autoren: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri

cs.AI

Zusammenfassung

Retrieval Augmented Generation verbessert die Genauigkeit von LLMs, indem Passagen aus einem externen Korpus zum LLM-Prompt hinzugefügt werden. Diese Arbeit untersucht, wie Positionsbias – die Tendenz von LLMs, Informationen basierend auf ihrer Position im Prompt unterschiedlich zu gewichten – nicht nur die Fähigkeit des LLMs beeinflusst, relevante Passagen zu nutzen, sondern auch seine Anfälligkeit für ablenkende Passagen. Durch umfangreiche Experimente auf drei Benchmarks zeigen wir, wie state-of-the-art Retrieval-Pipelines, während sie versuchen, relevante Passagen abzurufen, systematisch stark ablenkende Passagen in die oberen Ränge bringen, wobei über 60 % der Anfragen mindestens eine stark ablenkende Passage unter den Top-10 abgerufenen Passagen enthalten. Infolgedessen ist die Auswirkung des LLM-Positionsbias, die in kontrollierten Umgebungen oft als sehr ausgeprägt beschrieben wird, in realen Szenarien tatsächlich marginal, da sowohl relevante als auch ablenkende Passagen gleichermaßen benachteiligt werden. Tatsächlich zeigen unsere Ergebnisse, dass ausgefeilte Strategien, die versuchen, die Passagen basierend auf den Positionspräferenzen des LLMs neu anzuordnen, nicht besser abschneiden als zufälliges Mischen.

English

Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.