DyePack: Het Betrouwbaar Signaleren van Testsetvervuiling in LLM's met Gebruik van Backdoors

DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors

May 29, 2025

Auteurs: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi

cs.AI

Samenvatting

Open benchmarks zijn essentieel voor het evalueren en verbeteren van grote taalmodellen, omdat ze reproduceerbaarheid en transparantie bieden. Hun toegankelijkheid maakt ze echter waarschijnlijke doelwitten van testsetvervuiling. In dit werk introduceren we DyePack, een raamwerk dat gebruikmaakt van backdoor-aanvallen om modellen te identificeren die benchmarksets tijdens de training hebben gebruikt, zonder toegang te vereisen tot de loss, logits of interne details van het model. Net zoals banken kleurpakketten mengen met hun geld om overvallers te markeren, mengt DyePack backdoor-monsters met de testgegevens om modellen te markeren die erop getraind hebben. We stellen een principieel ontwerp voor dat meerdere backdoors met stochastische doelen incorporeert, waardoor een exacte berekening van het false positive rate (FPR) mogelijk is bij het markeren van elk model. Dit voorkomt bewezen valse beschuldigingen en biedt tegelijkertijd sterk bewijs voor elk gedetecteerd geval van vervuiling. We evalueren DyePack op vijf modellen over drie datasets, waarbij zowel meerkeuzevragen als open-eind-generatietaken worden behandeld. Voor meerkeuzevragen detecteert het met succes alle vervuilde modellen met gegarandeerde FPR's van slechts 0,000073% op MMLU-Pro en 0,000017% op Big-Bench-Hard met behulp van acht backdoors. Voor open-eind-generatietaken generaliseert het goed en identificeert het alle vervuilde modellen op Alpaca met een gegarandeerde false positive rate van slechts 0,127% met behulp van zes backdoors.

English

Open benchmarks are essential for evaluating and advancing large language models, offering reproducibility and transparency. However, their accessibility makes them likely targets of test set contamination. In this work, we introduce DyePack, a framework that leverages backdoor attacks to identify models that used benchmark test sets during training, without requiring access to the loss, logits, or any internal details of the model. Like how banks mix dye packs with their money to mark robbers, DyePack mixes backdoor samples with the test data to flag models that trained on it. We propose a principled design incorporating multiple backdoors with stochastic targets, enabling exact false positive rate (FPR) computation when flagging every model. This provably prevents false accusations while providing strong evidence for every detected case of contamination. We evaluate DyePack on five models across three datasets, covering both multiple-choice and open-ended generation tasks. For multiple-choice questions, it successfully detects all contaminated models with guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard using eight backdoors. For open-ended generation tasks, it generalizes well and identifies all contaminated models on Alpaca with a guaranteed false positive rate of just 0.127% using six backdoors.