Os Sistemas RAG Sofrem de Viés Posicional?

Do RAG Systems Suffer From Positional Bias?

May 21, 2025

Autores: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri

cs.AI

Resumo

A Geração Aumentada por Recuperação melhora a precisão dos LLMs ao adicionar trechos recuperados de um corpus externo ao prompt do LLM. Este artigo investiga como o viés posicional - a tendência dos LLMs de ponderar informações de forma diferente com base em sua posição no prompt - afeta não apenas a capacidade do LLM de aproveitar trechos relevantes, mas também sua suscetibilidade a trechos distrativos. Por meio de extensos experimentos em três benchmarks, mostramos como pipelines de recuperação de última geração, ao tentar recuperar trechos relevantes, sistematicamente trazem trechos altamente distrativos para as primeiras posições, com mais de 60% das consultas contendo pelo menos um trecho altamente distrativo entre os 10 primeiros trechos recuperados. Como resultado, o impacto do viés posicional do LLM, que em configurações controladas é frequentemente relatado como muito proeminente por trabalhos relacionados, é na verdade marginal em cenários reais, uma vez que tanto os trechos relevantes quanto os distrativos são, por sua vez, penalizados. De fato, nossas descobertas revelam que estratégias sofisticadas que tentam reorganizar os trechos com base nas preferências posicionais do LLM não têm desempenho melhor do que um embaralhamento aleatório.

English

Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.