¿Los sistemas RAG sufren de sesgo posicional?

Do RAG Systems Suffer From Positional Bias?

May 21, 2025

Autores: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri

cs.AI

Resumen

La Generación Aumentada por Recuperación mejora la precisión de los LLM al agregar pasajes recuperados de un corpus externo al prompt del LLM. Este artículo investiga cómo el sesgo posicional -la tendencia de los LLM a ponderar la información de manera diferente según su posición en el prompt- afecta no solo la capacidad del LLM para aprovechar los pasajes relevantes, sino también su susceptibilidad a pasajes distractores. A través de extensos experimentos en tres benchmarks, demostramos cómo las pipelines de recuperación de última generación, al intentar recuperar pasajes relevantes, sistemáticamente colocan pasajes altamente distractores en los primeros puestos, con más del 60% de las consultas conteniendo al menos un pasaje altamente distractor entre los 10 primeros pasajes recuperados. Como resultado, el impacto del sesgo posicional del LLM, que en entornos controlados a menudo se reporta como muy prominente en trabajos relacionados, en realidad es marginal en escenarios reales, ya que tanto los pasajes relevantes como los distractores son, a su vez, penalizados. De hecho, nuestros hallazgos revelan que las estrategias sofisticadas que intentan reorganizar los pasajes basándose en las preferencias posicionales del LLM no funcionan mejor que una mezcla aleatoria.

English

Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.