DyePack: Sinalização Provável de Contaminação em Conjuntos de Teste em LLMs Usando Backdoors

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

May 29, 2025

Autores: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi

cs.AI

Resumo

Os benchmarks abertos são essenciais para avaliar e avançar os modelos de linguagem de grande escala, oferecendo reprodutibilidade e transparência. No entanto, sua acessibilidade os torna alvos prováveis de contaminação do conjunto de testes. Neste trabalho, apresentamos o DyePack, uma estrutura que utiliza ataques de backdoor para identificar modelos que utilizaram conjuntos de testes de benchmark durante o treinamento, sem a necessidade de acessar a função de perda, os logits ou qualquer detalhe interno do modelo. Assim como os bancos misturam pacotes de tinta com o dinheiro para marcar ladrões, o DyePack mistura amostras de backdoor com os dados de teste para sinalizar modelos que foram treinados com eles. Propomos um design fundamentado que incorpora múltiplos backdoors com alvos estocásticos, permitindo o cálculo exato da taxa de falsos positivos (FPR) ao sinalizar cada modelo. Isso comprovadamente evita acusações falsas, ao mesmo tempo que fornece evidências robustas para cada caso detectado de contaminação. Avaliamos o DyePack em cinco modelos em três conjuntos de dados, abrangendo tanto tarefas de múltipla escolha quanto de geração aberta. Para questões de múltipla escolha, ele detecta com sucesso todos os modelos contaminados com FPRs garantidos tão baixos quanto 0,000073% no MMLU-Pro e 0,000017% no Big-Bench-Hard, utilizando oito backdoors. Para tarefas de geração aberta, ele se generaliza bem e identifica todos os modelos contaminados no Alpaca com uma taxa de falsos positivos garantida de apenas 0,127%, utilizando seis backdoors.

English

Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.