DyePack: 백도어를 활용한 LLM 테스트 세트 오염의 검증 가능한 플래깅
DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors
May 29, 2025
저자: Yize Cheng, Wenxiao Wang, Mazda Moayeri, Soheil Feizi
cs.AI
초록
오픈 벤치마크는 대규모 언어 모델을 평가하고 발전시키는 데 필수적이며, 재현성과 투명성을 제공합니다. 그러나 이러한 접근성은 테스트 세트 오염의 표적이 될 가능성을 높입니다. 본 연구에서는 DyePack이라는 프레임워크를 소개합니다. 이 프레임워크는 백도어 공격을 활용하여 모델의 손실, 로짓 또는 내부 세부 정보에 접근하지 않고도 훈련 중에 벤치마크 테스트 세트를 사용한 모델을 식별합니다. 은행이 강도들을 표시하기 위해 돈과 함께 염색 팩을 섞는 것처럼, DyePack은 테스트 데이터와 함께 백도어 샘플을 섞어 이를 훈련한 모델을 표시합니다. 우리는 확률적 타겟을 가진 다중 백도어를 통합한 원칙적인 설계를 제안하며, 이를 통해 모든 모델을 표시할 때 정확한 오탐률(FPR) 계산이 가능합니다. 이는 잘못된 고발을 방지하면서도 모든 오염 사례에 대한 강력한 증거를 제공합니다. 우리는 DyePack을 세 가지 데이터셋에 걸친 다섯 개의 모델에서 평가하며, 객관식 및 자유형 생성 작업을 모두 다룹니다. 객관식 질문의 경우, MMLU-Pro에서는 0.000073%, Big-Bench-Hard에서는 0.000017%의 보장된 오탐률로 모든 오염된 모델을 성공적으로 탐지합니다. 자유형 생성 작업의 경우, Alpaca에서 0.127%의 보장된 오탐률로 모든 오염된 모델을 잘 일반화하여 식별합니다.
English
Open benchmarks are essential for evaluating and advancing large language
models, offering reproducibility and transparency. However, their accessibility
makes them likely targets of test set contamination. In this work, we introduce
DyePack, a framework that leverages backdoor attacks to identify models that
used benchmark test sets during training, without requiring access to the loss,
logits, or any internal details of the model. Like how banks mix dye packs with
their money to mark robbers, DyePack mixes backdoor samples with the test data
to flag models that trained on it. We propose a principled design incorporating
multiple backdoors with stochastic targets, enabling exact false positive rate
(FPR) computation when flagging every model. This provably prevents false
accusations while providing strong evidence for every detected case of
contamination. We evaluate DyePack on five models across three datasets,
covering both multiple-choice and open-ended generation tasks. For
multiple-choice questions, it successfully detects all contaminated models with
guaranteed FPRs as low as 0.000073% on MMLU-Pro and 0.000017% on Big-Bench-Hard
using eight backdoors. For open-ended generation tasks, it generalizes well and
identifies all contaminated models on Alpaca with a guaranteed false positive
rate of just 0.127% using six backdoors.