퍼플렉서티 함정: PLM 기반 검색기가 낮은 퍼플렉서티 문서를 과대평가하는 현상

Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents

March 11, 2025

저자: Haoyu Wang, Sunhao Dai, Haiyuan Zhao, Liang Pang, Xiao Zhang, Gang Wang, Zhenhua Dong, Jun Xu, Ji-Rong Wen

cs.AI

초록

이전 연구들에 따르면, PLM 기반 검색 모델들은 LLM 생성 콘텐츠에 대한 선호도를 보이며, 이러한 문서들에 더 높은 관련성 점수를 부여하는 경향이 있습니다. 이는 인간이 작성한 문서와 의미적 품질이 비슷한 경우에도 마찬가지입니다. 이러한 현상은 소스 편향(source bias)으로 알려져 있으며, 정보 접근 생태계의 지속 가능한 발전을 위협합니다. 그러나 소스 편향의 근본적인 원인은 아직 탐구되지 않았습니다. 본 논문에서는 정보 검색 과정을 인과 그래프로 설명하고, PLM 기반 검색기가 관련성 추정을 위해 perplexity 특징을 학습함으로써 낮은 perplexity를 가진 문서를 더 높은 순위로 매기는 것이 소스 편향을 유발한다는 것을 발견했습니다. 이론적 분석은 더 나아가 이 현상이 언어 모델링 작업과 검색 작업의 손실 함수 기울기 간의 양의 상관관계에서 비롯됨을 밝혔습니다. 이러한 분석을 바탕으로, 인과 관계에 기반한 추론 시점 편향 제거 방법인 Causal Diagnosis and Correction (CDC)을 제안합니다. CDC는 먼저 perplexity의 편향 효과를 진단한 다음, 전체 추정 관련성 점수에서 편향 효과를 분리합니다. 세 가지 도메인에서의 실험 결과는 CDC의 우수한 편향 제거 효과를 입증하며, 제안된 설명 프레임워크의 타당성을 강조합니다. 소스 코드는 https://github.com/WhyDwelledOnAi/Perplexity-Trap에서 확인할 수 있습니다.

English

Previous studies have found that PLM-based retrieval models exhibit a preference for LLM-generated content, assigning higher relevance scores to these documents even when their semantic quality is comparable to human-written ones. This phenomenon, known as source bias, threatens the sustainable development of the information access ecosystem. However, the underlying causes of source bias remain unexplored. In this paper, we explain the process of information retrieval with a causal graph and discover that PLM-based retrievers learn perplexity features for relevance estimation, causing source bias by ranking the documents with low perplexity higher. Theoretical analysis further reveals that the phenomenon stems from the positive correlation between the gradients of the loss functions in language modeling task and retrieval task. Based on the analysis, a causal-inspired inference-time debiasing method is proposed, called Causal Diagnosis and Correction (CDC). CDC first diagnoses the bias effect of the perplexity and then separates the bias effect from the overall estimated relevance score. Experimental results across three domains demonstrate the superior debiasing effectiveness of CDC, emphasizing the validity of our proposed explanatory framework. Source codes are available at https://github.com/WhyDwelledOnAi/Perplexity-Trap.