Vazamento de Preferência: Um Problema de Contaminação em LLM-como-juiz

Preference Leakage: A Contamination Problem in LLM-as-a-judge

February 3, 2025

Autores: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu

cs.AI

Resumo

Grandes Modelos de Linguagem (GMLs) como juízes e a síntese de dados baseada em GMLs surgiram como dois métodos fundamentais de anotação de dados impulsionados por GML no desenvolvimento de modelos. Embora a combinação desses métodos melhore significativamente a eficiência do treinamento e avaliação do modelo, pouca atenção tem sido dada à contaminação potencial trazida por esse novo paradigma de desenvolvimento de modelo. Neste trabalho, expomos o vazamento de preferência, um problema de contaminação em GML-como-juiz causado pela relação entre os geradores de dados sintéticos e os avaliadores baseados em GML. Para estudar essa questão, primeiro definimos três tipos comuns de relacionamentos entre o GML gerador de dados e o GML juiz: ser o mesmo modelo, ter uma relação de herança e pertencer à mesma família de modelos. Através de experimentos extensivos, confirmamos empiricamente o viés dos juízes em relação aos seus modelos estudantes relacionados causados pelo vazamento de preferência em diversos cenários e benchmarks de GML. Uma análise adicional sugere que o vazamento de preferência é um problema generalizado e desafiador, mais difícil de detectar em comparação com viéses previamente identificados em cenários de GML-como-juiz. Todas essas descobertas implicam que o vazamento de preferência é um problema amplo e desafiador na área de GML-como-juiz. Disponibilizamos todos os códigos e dados em: https://github.com/David-Li0406/Preference-Leakage.

English

Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.