Trampa de la Perplejidad: Los Recuperadores Basados en Modelos de Lenguaje Sobrevaloran Documentos con Baja Perplejidad

Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents

March 11, 2025

Autores: Haoyu Wang, Sunhao Dai, Haiyuan Zhao, Liang Pang, Xiao Zhang, Gang Wang, Zhenhua Dong, Jun Xu, Ji-Rong Wen

cs.AI

Resumen

Estudios previos han encontrado que los modelos de recuperación basados en PLM (Modelos de Lenguaje Preentrenados) muestran una preferencia por el contenido generado por LLM (Modelos de Lenguaje de Gran Escala), asignando puntuaciones de relevancia más altas a estos documentos incluso cuando su calidad semántica es comparable a la de los escritos por humanos. Este fenómeno, conocido como sesgo de fuente, amenaza el desarrollo sostenible del ecosistema de acceso a la información. Sin embargo, las causas subyacentes del sesgo de fuente permanecen sin explorar. En este artículo, explicamos el proceso de recuperación de información mediante un gráfico causal y descubrimos que los recuperadores basados en PLM aprenden características de perplejidad para la estimación de relevancia, lo que provoca el sesgo de fuente al clasificar más alto los documentos con baja perplejidad. Un análisis teórico revela además que el fenómeno surge de la correlación positiva entre los gradientes de las funciones de pérdida en la tarea de modelado del lenguaje y la tarea de recuperación. Basándonos en este análisis, se propone un método de eliminación de sesgo en tiempo de inferencia inspirado en la causalidad, llamado Diagnóstico y Corrección Causal (CDC, por sus siglas en inglés). CDC primero diagnostica el efecto del sesgo de la perplejidad y luego separa este efecto de la puntuación de relevancia estimada en general. Los resultados experimentales en tres dominios demuestran la superior efectividad de CDC en la eliminación de sesgos, destacando la validez de nuestro marco explicativo propuesto. Los códigos fuente están disponibles en https://github.com/WhyDwelledOnAi/Perplexity-Trap.

English

Previous studies have found that PLM-based retrieval models exhibit a preference for LLM-generated content, assigning higher relevance scores to these documents even when their semantic quality is comparable to human-written ones. This phenomenon, known as source bias, threatens the sustainable development of the information access ecosystem. However, the underlying causes of source bias remain unexplored. In this paper, we explain the process of information retrieval with a causal graph and discover that PLM-based retrievers learn perplexity features for relevance estimation, causing source bias by ranking the documents with low perplexity higher. Theoretical analysis further reveals that the phenomenon stems from the positive correlation between the gradients of the loss functions in language modeling task and retrieval task. Based on the analysis, a causal-inspired inference-time debiasing method is proposed, called Causal Diagnosis and Correction (CDC). CDC first diagnoses the bias effect of the perplexity and then separates the bias effect from the overall estimated relevance score. Experimental results across three domains demonstrate the superior debiasing effectiveness of CDC, emphasizing the validity of our proposed explanatory framework. Source codes are available at https://github.com/WhyDwelledOnAi/Perplexity-Trap.