Коллапс плотных ретриверов: краткость, ранние и буквальные предубеждения, превосходящие фактические доказательства

Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence

March 6, 2025

Авторы: Mohsen Fayyaz, Ali Modarressi, Hinrich Schuetze, Nanyun Peng

cs.AI

Аннотация

Модели плотного поиска широко используются в задачах информационного поиска (IR), таких как генерация с усилением поиска (RAG). Поскольку они часто выступают в качестве первого шага в таких системах, их устойчивость имеет критическое значение для предотвращения сбоев. В данной работе, перепрофилируя набор данных для извлечения отношений (например, Re-DocRED), мы разрабатываем контролируемые эксперименты для количественной оценки влияния эвристических предубеждений, таких как предпочтение более коротких документов, в поисковых системах, таких как Dragon+ и Contriever. Наши результаты выявляют значительные уязвимости: поисковые системы часто полагаются на поверхностные паттерны, такие как чрезмерное внимание к началу документов, более коротким документам, повторяющимся сущностям и буквальным совпадениям. Кроме того, они склонны игнорировать, содержит ли документ ответ на запрос, демонстрируя недостаточное семантическое понимание. Примечательно, что при сочетании нескольких предубеждений модели демонстрируют катастрофическое снижение производительности, выбирая документ с ответом менее чем в 3% случаев вместо предвзятого документа без ответа. Более того, мы показываем, что эти предубеждения имеют прямые последствия для последующих приложений, таких как RAG, где предпочитаемые поиском документы могут вводить в заблуждение крупные языковые модели (LLM), что приводит к снижению производительности на 34% по сравнению с ситуацией, когда документы вообще не предоставляются.

English

Dense retrieval models are commonly used in Information Retrieval (IR) applications, such as Retrieval-Augmented Generation (RAG). Since they often serve as the first step in these systems, their robustness is critical to avoid failures. In this work, by repurposing a relation extraction dataset (e.g. Re-DocRED), we design controlled experiments to quantify the impact of heuristic biases, such as favoring shorter documents, in retrievers like Dragon+ and Contriever. Our findings reveal significant vulnerabilities: retrievers often rely on superficial patterns like over-prioritizing document beginnings, shorter documents, repeated entities, and literal matches. Additionally, they tend to overlook whether the document contains the query's answer, lacking deep semantic understanding. Notably, when multiple biases combine, models exhibit catastrophic performance degradation, selecting the answer-containing document in less than 3% of cases over a biased document without the answer. Furthermore, we show that these biases have direct consequences for downstream applications like RAG, where retrieval-preferred documents can mislead LLMs, resulting in a 34% performance drop than not providing any documents at all.