DyePack: Detección Comprobable de Contaminación en Conjuntos de Prueba en LLMs mediante Puertas Traseras

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

May 29, 2025

Autores: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi

cs.AI

Resumen

Los puntos de referencia abiertos son esenciales para evaluar y avanzar en los modelos de lenguaje grandes, ofreciendo reproducibilidad y transparencia. Sin embargo, su accesibilidad los convierte en objetivos probables de contaminación del conjunto de pruebas. En este trabajo, presentamos DyePack, un marco que aprovecha los ataques de puerta trasera para identificar modelos que utilizaron conjuntos de pruebas de referencia durante el entrenamiento, sin necesidad de acceder a la pérdida, los logits o cualquier detalle interno del modelo. Al igual que los bancos mezclan paquetes de tinte con su dinero para marcar a los ladrones, DyePack mezcla muestras de puerta trasera con los datos de prueba para señalar modelos que se entrenaron con ellos. Proponemos un diseño fundamentado que incorpora múltiples puertas traseras con objetivos estocásticos, permitiendo el cálculo exacto de la tasa de falsos positivos (FPR) al señalar cada modelo. Esto evita de manera comprobable acusaciones falsas mientras proporciona evidencia sólida para cada caso detectado de contaminación. Evaluamos DyePack en cinco modelos a través de tres conjuntos de datos, cubriendo tanto tareas de opción múltiple como de generación abierta. Para preguntas de opción múltiple, detecta con éxito todos los modelos contaminados con FPR garantizados tan bajos como 0.000073% en MMLU-Pro y 0.000017% en Big-Bench-Hard utilizando ocho puertas traseras. Para tareas de generación abierta, generaliza bien e identifica todos los modelos contaminados en Alpaca con una tasa de falsos positivos garantizada de solo 0.127% utilizando seis puertas traseras.

English

Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.