DyePack: Rilevazione Certificata della Contaminazione dei Set di Test negli LLM Utilizzando Backdoor

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

May 29, 2025

Autori: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi

cs.AI

Abstract

I benchmark aperti sono essenziali per valutare e far progredire i modelli linguistici di grandi dimensioni, offrendo riproducibilità e trasparenza. Tuttavia, la loro accessibilità li rende probabili bersagli di contaminazione dei set di test. In questo lavoro, introduciamo DyePack, un framework che sfrutta gli attacchi backdoor per identificare i modelli che hanno utilizzato i set di test dei benchmark durante l'addestramento, senza richiedere l'accesso alla loss, ai logit o a qualsiasi dettaglio interno del modello. Proprio come le banche mescolano i pacchetti di colorante con il denaro per segnalare i ladri, DyePack mescola campioni backdoor con i dati di test per contrassegnare i modelli che si sono addestrati su di essi. Proponiamo un design metodologico che incorpora più backdoor con target stocastici, consentendo il calcolo esatto del tasso di falsi positivi (FPR) quando si contrassegna ogni modello. Ciò previene in modo dimostrabile false accuse fornendo al contempo prove solide per ogni caso rilevato di contaminazione. Valutiamo DyePack su cinque modelli attraverso tre dataset, coprendo sia compiti a scelta multipla che di generazione aperta. Per le domande a scelta multipla, rileva con successo tutti i modelli contaminati con FPR garantiti fino a 0,000073% su MMLU-Pro e 0,000017% su Big-Bench-Hard utilizzando otto backdoor. Per i compiti di generazione aperta, si generalizza bene e identifica tutti i modelli contaminati su Alpaca con un tasso di falsi positivi garantito di appena lo 0,127% utilizzando sei backdoor.

English

Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.