DyePack: バックドアを用いたLLMのテストセット汚染を証明可能に検出する手法
DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors
May 29, 2025
著者: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi
cs.AI
要旨
オープンベンチマークは、大規模言語モデルの評価と進歩にとって不可欠であり、再現性と透明性を提供します。しかし、そのアクセス容易さゆえに、テストセットの汚染の標的となりやすいという課題があります。本研究では、DyePackというフレームワークを紹介します。これは、バックドア攻撃を活用して、モデルの損失、ロジット、または内部詳細へのアクセスを必要とせずに、トレーニング中にベンチマークテストセットを使用したモデルを特定するものです。銀行が強盗をマークするために現金に染料パックを混ぜるように、DyePackはテストデータにバックドアサンプルを混ぜて、それを使用してトレーニングしたモデルをフラグします。我々は、確率的ターゲットを持つ複数のバックドアを組み込んだ原則的な設計を提案し、すべてのモデルをフラグする際に正確な偽陽性率（FPR）の計算を可能にします。これにより、偽の告発を確実に防ぎつつ、検出されたすべての汚染事例に対して強力な証拠を提供します。DyePackを、3つのデータセットにわたる5つのモデルで評価し、多肢選択問題と自由記述生成タスクの両方をカバーしました。多肢選択問題では、MMLU-Proで0.000073%、Big-Bench-Hardで0.000017%という保証されたFPRで、8つのバックドアを使用してすべての汚染モデルを検出することに成功しました。自由記述生成タスクでは、Alpacaで6つのバックドアを使用して、保証された偽陽性率がわずか0.127%で、すべての汚染モデルを特定しました。
English
Open benchmarks are essential for evaluating and advancing large language
models, offering reproducibility and transparency. However, their accessibility
makes them likely targets of test set contamination. In this work, we introduce
DyePack, a framework that leverages backdoor attacks to identify models that
used benchmark test sets during training, without requiring access to the loss,
logits, or any internal details of the model. Like how banks mix dye packs with
their money to mark robbers, DyePack mixes backdoor samples with the test data
to flag models that trained on it. We propose a principled design incorporating
multiple backdoors with stochastic targets, enabling exact false positive rate
(FPR) computation when flagging every model. This provably prevents false
accusations while providing strong evidence for every detected case of
contamination. We evaluate DyePack on five models across three datasets,
covering both multiple-choice and open-ended generation tasks. For
multiple-choice questions, it successfully detects all contaminated models with
guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard
using eight backdoors. For open-ended generation tasks, it generalizes well and
identifies all contaminated models on Alpaca with a guaranteed false positive
rate of just 0.127% using six backdoors.