Voorkeurslek: Een besmettingsprobleem in LLM-als-rechter

Preference Leakage: A Contamination Problem in LLM-as-a-judge

February 3, 2025

Auteurs: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) als juryleden en op LLM's gebaseerde gegevenssynthese zijn naar voren gekomen als twee fundamentele door LLM aangestuurde methoden voor gegevensannotatie bij modelontwikkeling. Hoewel hun combinatie de efficiëntie van modeltraining en -evaluatie aanzienlijk verbetert, is er weinig aandacht besteed aan de mogelijke besmetting die wordt veroorzaakt door dit nieuwe modelontwikkelingsparadigma. In dit werk blootleggen we voorkeurslekken, een besmettingsprobleem in LLM-als-jury veroorzaakt door de verwantschap tussen de synthetische gegevensgeneratoren en op LLM's gebaseerde beoordelaars. Om dit probleem te bestuderen, definiëren we eerst drie veelvoorkomende verwantschappen tussen de gegevensgenerator LLM en de jury-LLM: hetzelfde model zijn, een erfelijkheidsrelatie hebben en behoren tot dezelfde modelfamilie. Door uitgebreide experimenten bevestigen we empirisch de vooringenomenheid van juryleden ten opzichte van hun gerelateerde modelstudenten veroorzaakt door voorkeurslekken over meerdere LLM-baselines en benchmarks. Verder onderzoek suggereert dat voorkeurslekken een alomtegenwoordig probleem is dat moeilijker te detecteren is in vergelijking met eerder geïdentificeerde vooringenomenheden in LLM-als-jury scenario's. Al deze bevindingen suggereren dat voorkeurslekken een wijdverbreid en uitdagend probleem zijn op het gebied van LLM-als-jury. We stellen alle codes en gegevens beschikbaar op: https://github.com/David-Li0406/Preference-Leakage.

English

Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.