Effondrement des récupérateurs denses : biais courts, précoces et littéraux dominant les preuves factuelles

Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence

March 6, 2025

Auteurs: Mohsen Fayyaz, Ali Modarressi, Hinrich Schuetze, Nanyun Peng

cs.AI

Résumé

Les modèles de recherche dense sont couramment utilisés dans les applications de Recherche d'Information (RI), telles que la Génération Augmentée par Récupération (RAG). Comme ils constituent souvent la première étape de ces systèmes, leur robustesse est cruciale pour éviter les échecs. Dans ce travail, en réutilisant un jeu de données d'extraction de relations (par exemple Re-DocRED), nous concevons des expériences contrôlées pour quantifier l'impact des biais heuristiques, comme la préférence pour des documents plus courts, dans les récupérateurs tels que Dragon+ et Contriever. Nos résultats révèlent des vulnérabilités significatives : les récupérateurs s'appuient souvent sur des motifs superficiels, comme la surpriorisation des débuts de documents, des documents plus courts, des entités répétées et des correspondances littérales. De plus, ils ont tendance à négliger si le document contient la réponse à la requête, manquant ainsi d'une compréhension sémantique profonde. Notamment, lorsque plusieurs biais se combinent, les modèles subissent une dégradation catastrophique de leurs performances, sélectionnant le document contenant la réponse dans moins de 3 % des cas par rapport à un document biaisé sans réponse. Par ailleurs, nous montrons que ces biais ont des conséquences directes pour les applications en aval comme la RAG, où les documents privilégiés par la récupération peuvent induire en erreur les LLM, entraînant une baisse de performance de 34 % par rapport à ne fournir aucun document.

English

Dense retrieval models are commonly used in Information Retrieval (IR) applications, such as Retrieval-Augmented Generation (RAG). Since they often serve as the first step in these systems, their robustness is critical to avoid failures. In this work, by repurposing a relation extraction dataset (e.g. Re-DocRED), we design controlled experiments to quantify the impact of heuristic biases, such as favoring shorter documents, in retrievers like Dragon+ and Contriever. Our findings reveal significant vulnerabilities: retrievers often rely on superficial patterns like over-prioritizing document beginnings, shorter documents, repeated entities, and literal matches. Additionally, they tend to overlook whether the document contains the query's answer, lacking deep semantic understanding. Notably, when multiple biases combine, models exhibit catastrophic performance degradation, selecting the answer-containing document in less than 3% of cases over a biased document without the answer. Furthermore, we show that these biases have direct consequences for downstream applications like RAG, where retrieval-preferred documents can mislead LLMs, resulting in a 34% performance drop than not providing any documents at all.