選好漏洩：LLMを裁判官として使用する際の汚染問題

Preference Leakage: A Contamination Problem in LLM-as-a-judge

February 3, 2025

著者: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu

cs.AI

要旨

大規模言語モデル（LLM）による判定とLLMベースのデータ合成は、モデル開発における2つの基本的なLLM駆動データ注釈方法として登場しています。これらの組み合わせはモデルの訓練と評価の効率を大幅に向上させますが、この新しいモデル開発パラダイムによってもたらされる潜在的な汚染にはほとんど注意が払われていません。本研究では、合成データ生成器とLLMベースの評価者の関連性によって引き起こされるLLM判定における汚染問題である「選好漏洩」を明らかにします。この問題を研究するために、まず、データ生成器LLMと判定LLMの間の3つの一般的な関連性を定義します：同じモデルであること、継承関係を持つこと、同じモデルファミリーに属すること。多くの実験を通じて、複数のLLMベースラインとベンチマークにわたる選好漏洩によって判定のバイアスが関連する学習モデルに向かうことを経験的に確認します。さらなる分析から、選好漏洩は、LLM判定シナリオで以前に特定されたバイアスと比較して検出がより難しい普遍的な問題であることが示唆されます。これらのすべての知見は、選好漏洩がLLM判定の領域における普遍的で難しい問題であることを意味しています。すべてのコードとデータは以下で公開されています：https://github.com/David-Li0406/Preference-Leakage.

English

Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new model development paradigm. In this work, we expose preference leakage, a contamination problem in LLM-as-a-judge caused by the relatedness between the synthetic data generators and LLM-based evaluators. To study this issue, we first define three common relatednesses between data generator LLM and judge LLM: being the same model, having an inheritance relationship, and belonging to the same model family. Through extensive experiments, we empirically confirm the bias of judges towards their related student models caused by preference leakage across multiple LLM baselines and benchmarks. Further analysis suggests that preference leakage is a pervasive issue that is harder to detect compared to previously identified biases in LLM-as-a-judge scenarios. All of these findings imply that preference leakage is a widespread and challenging problem in the area of LLM-as-a-judge. We release all codes and data at: https://github.com/David-Li0406/Preference-Leakage.