DyePack: Доказательное выявление загрязнения тестового набора в языковых моделях с использованием бэкдоров

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

May 29, 2025

Авторы: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi

cs.AI

Аннотация

Открытые бенчмарки играют ключевую роль в оценке и развитии больших языковых моделей, обеспечивая воспроизводимость и прозрачность. Однако их доступность делает их вероятной мишенью для загрязнения тестовых наборов данных. В данной работе мы представляем DyePack — фреймворк, который использует атаки с использованием бэкдоров для выявления моделей, обучавшихся на тестовых наборах бенчмарков, без необходимости доступа к функции потерь, логитам или любым внутренним деталям модели. Подобно тому, как банки добавляют красящие пакеты в свои деньги, чтобы пометить грабителей, DyePack добавляет образцы с бэкдорами в тестовые данные, чтобы пометить модели, которые обучались на них. Мы предлагаем принципиальный дизайн, включающий несколько бэкдоров со стохастическими целями, что позволяет точно вычислять уровень ложноположительных срабатываний (FPR) при пометке каждой модели. Это гарантированно предотвращает ложные обвинения, предоставляя при этом убедительные доказательства для каждого обнаруженного случая загрязнения. Мы оцениваем DyePack на пяти моделях в рамках трех наборов данных, охватывающих как задачи с множественным выбором, так и задачи открытой генерации. Для задач с множественным выбором он успешно обнаруживает все загрязненные модели с гарантированным FPR, достигающим всего 0,000073% на MMLU-Pro и 0,000017% на Big-Bench-Hard при использовании восьми бэкдоров. Для задач открытой генерации он демонстрирует хорошую обобщаемость и выявляет все загрязненные модели на Alpaca с гарантированным уровнем ложноположительных срабатываний всего 0,127% при использовании шести бэкдоров.

English

Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.