RAGシステムは位置バイアスに悩まされるのか？

Do RAG Systems Suffer From Positional Bias?

May 21, 2025

著者: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri

cs.AI

要旨

検索拡張生成（Retrieval Augmented Generation）は、外部コーパスから取得した文章をLLM（大規模言語モデル）のプロンプトに追加することで、その精度を向上させる手法です。本論文では、位置バイアス（LLMがプロンプト内の情報の位置に基づいて異なる重み付けを行う傾向）が、関連する文章を活用するLLMの能力だけでなく、注意をそらす文章に対する感受性にもどのように影響するかを調査します。3つのベンチマークを用いた広範な実験を通じて、最先端の検索パイプラインが関連する文章を取得しようとする一方で、高い頻度で注意をそらす文章を上位ランクに持ってくることを明らかにしました。具体的には、60%以上のクエリにおいて、上位10件の取得文章の中に少なくとも1つの高度に注意をそらす文章が含まれていました。その結果、制御された環境では関連研究によって非常に顕著と報告されることが多いLLMの位置バイアスの影響は、実際のシナリオでは限定的であることが分かりました。これは、関連する文章と注意をそらす文章の両方が同様にペナルティを受けるためです。実際、LLMの位置的な選好に基づいて文章を再配置しようとする高度な戦略は、ランダムなシャッフルと比べて優れた性能を示さないことが、我々の研究結果から明らかになりました。

English

Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.