高密度検索モデルの崩壊：短く、早期に、文字通りのバイアス 事実的証拠を上回る傾向

Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence

March 6, 2025

著者: Mohsen Fayyaz, Ali Modarressi, Hinrich Schuetze, Nanyun Peng

cs.AI

要旨

情報検索（IR）アプリケーション、特にRetrieval-Augmented Generation（RAG）において、密な検索モデルは一般的に使用されています。これらのシステムの最初のステップとして機能することが多いため、その堅牢性は失敗を回避する上で極めて重要です。本研究では、関係抽出データセット（例：Re-DocRED）を再利用し、Dragon+やContrieverなどの検索モデルにおけるヒューリスティックなバイアス（例えば、短い文書を優先する傾向）の影響を定量化するための制御実験を設計しました。我々の調査結果は、検索モデルが文書の冒頭を過度に優先する、短い文書を好む、繰り返し出現するエンティティを重視する、文字通りの一致を優先するといった表面的なパターンに依存していることを明らかにしています。さらに、これらのモデルは、文書がクエリの答えを含んでいるかどうかを深く理解せずに見落とす傾向があります。特に、複数のバイアスが組み合わさると、モデルは壊滅的な性能低下を示し、答えを含まないバイアスのかかった文書を優先して、答えを含む文書を選択する確率が3%未満にまで低下します。さらに、これらのバイアスはRAGのような下流アプリケーションに直接的な影響を及ぼし、検索モデルが優先する文書が大規模言語モデル（LLM）を誤導し、文書を提供しない場合と比べて34%の性能低下を引き起こすことを示しました。

English

Dense retrieval models are commonly used in Information Retrieval (IR) applications, such as Retrieval-Augmented Generation (RAG). Since they often serve as the first step in these systems, their robustness is critical to avoid failures. In this work, by repurposing a relation extraction dataset (e.g. Re-DocRED), we design controlled experiments to quantify the impact of heuristic biases, such as favoring shorter documents, in retrievers like Dragon+ and Contriever. Our findings reveal significant vulnerabilities: retrievers often rely on superficial patterns like over-prioritizing document beginnings, shorter documents, repeated entities, and literal matches. Additionally, they tend to overlook whether the document contains the query's answer, lacking deep semantic understanding. Notably, when multiple biases combine, models exhibit catastrophic performance degradation, selecting the answer-containing document in less than 3% of cases over a biased document without the answer. Furthermore, we show that these biases have direct consequences for downstream applications like RAG, where retrieval-preferred documents can mislead LLMs, resulting in a 34% performance drop than not providing any documents at all.