Fuga di preferenze: Un problema di contaminazione in LLM-come-giudice

Preference Leakage: A Contamination Problem in LLM-as-a-judge

February 3, 2025

Autori: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu

cs.AI

Abstract

I Large Language Models (LLM) come giudici e la sintesi dei dati basata su LLM sono emersi come due metodi fondamentali di annotazione dei dati guidati da LLM nello sviluppo del modello. Sebbene la loro combinazione migliori significativamente l'efficienza dell'addestramento e della valutazione del modello, poco è stato fatto per considerare la potenziale contaminazione portata da questo nuovo paradigma di sviluppo del modello. In questo lavoro, esponiamo la fuga di preferenze, un problema di contaminazione in LLM-come-giudice causato dalla correlazione tra i generatori di dati sintetici e gli valutatori basati su LLM. Per studiare questa questione, definiamo innanzitutto tre correlazioni comuni tra il LLM generatore di dati e il LLM giudice: essere lo stesso modello, avere una relazione di ereditarietà e appartenere alla stessa famiglia di modelli. Attraverso estesi esperimenti, confermiamo empiricamente il pregiudizio dei giudici verso i loro modelli studenti correlati causato dalla fuga di preferenze su diversi baselines e benchmark di LLM. Ulteriori analisi suggeriscono che la fuga di preferenze è un problema diffuso che è più difficile da individuare rispetto ai pregiudizi identificati in precedenza negli scenari di LLM-come-giudice. Tutte queste scoperte implicano che la fuga di preferenze è un problema diffuso e impegnativo nell'ambito di LLM-come-giudice. Rilasciamo tutti i codici e i dati su: https://github.com/David-Li0406/Preference-Leakage.

English

Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.