Утечка предпочтений: проблема загрязнения в LLM-как-судье

Preference Leakage: A Contamination Problem in LLM-as-a-judge

February 3, 2025

Авторы: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu

cs.AI

Аннотация

Большие языковые модели (LLM) в качестве судей и синтез данных на основе LLM стали двумя фундаментальными методами аннотации данных, основанными на LLM в разработке моделей. В то время как их комбинация значительно повышает эффективность обучения и оценки модели, мало внимания уделяется потенциальному загрязнению, вызванному этим новым парадигмой развития модели. В данной работе мы раскрываем утечку предпочтений, проблему загрязнения в LLM-в-качестве-судьи, вызванную связью между генераторами синтетических данных и оценщиками на основе LLM. Для изучения этой проблемы мы первоначально определяем три общих видов связей между генератором данных LLM и судьей LLM: быть одной и той же моделью, иметь отношение наследования и принадлежать к одной и той же семье моделей. Через обширные эксперименты мы эмпирически подтверждаем предвзятость судей к своим связанным студенческим моделям, вызванную утечкой предпочтений, на протяжении нескольких базовых и эталонных LLM. Дополнительный анализ предполагает, что утечка предпочтений является всеобщей проблемой, которую сложнее обнаружить по сравнению с ранее выявленными предвзятостями в сценариях LLM-в-качестве-судьи. Все эти результаты свидетельствуют о том, что утечка предпочтений является широко распространенной и сложной проблемой в области LLM-в-качестве-судьи. Мы публикуем все коды и данные по ссылке: https://github.com/David-Li0406/Preference-Leakage.

English

Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.