Страдают ли системы RAG от позиционного смещения?

Do RAG Systems Suffer From Positional Bias?

May 21, 2025

Авторы: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri

cs.AI

Аннотация

Генерация с усилением поиска повышает точность больших языковых моделей (LLM) за счет добавления фрагментов, извлеченных из внешнего корпуса, в запрос LLM. В данной статье исследуется, как позиционное смещение — склонность LLM по-разному учитывать информацию в зависимости от ее положения в запросе — влияет не только на способность модели эффективно использовать релевантные фрагменты, но и на ее уязвимость к отвлекающим фрагментам. В ходе масштабных экспериментов на трех бенчмарках мы показываем, что современные системы поиска, пытаясь извлечь релевантные фрагменты, систематически выводят на первые позиции высокоотвлекающие фрагменты, причем более чем в 60% запросов хотя бы один такой фрагмент оказывается среди 10 наиболее релевантных. В результате влияние позиционного смещения LLM, которое в контролируемых условиях часто описывается как весьма значительное в работах других авторов, в реальных сценариях оказывается минимальным, поскольку как релевантные, так и отвлекающие фрагменты в равной степени подвергаются "штрафу". Более того, наши результаты показывают, что сложные стратегии, пытающиеся переупорядочить фрагменты с учетом предпочтений LLM, не превосходят случайного перемешивания.

English

Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.