AntiLeak-Bench : Prévenir la contamination des données en construisant automatiquement des référentiels avec des connaissances du monde réel mises à jour.

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Auteurs: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Résumé

La contamination des données entrave l'évaluation juste des LLM en introduisant des données de test dans les ensembles d'entraînement des nouveaux modèles. Les études existantes résolvent ce défi en mettant à jour les références avec des données nouvellement collectées. Cependant, elles ne parviennent pas à garantir une évaluation sans contamination car les données nouvellement collectées peuvent contenir des connaissances préexistantes, et leurs mises à jour de références reposent sur un travail humain intensif. Pour résoudre ces problèmes, nous proposons dans cet article AntiLeak-Bench, un cadre automatisé de référencement anti-fuite. Au lieu d'utiliser simplement des données nouvellement collectées, nous construisons des échantillons avec des connaissances explicitement nouvelles absentes des ensembles d'entraînement des LLM, ce qui garantit ainsi une évaluation strictement sans contamination. Nous concevons en outre un flux de travail entièrement automatisé pour construire et mettre à jour notre référence sans travail humain. Cela réduit considérablement le coût de maintenance de la référence pour s'adapter aux LLM émergents. À travers des expériences approfondies, nous soulignons que la contamination des données existe probablement avant l'heure de coupure des LLM et démontrons qu'AntiLeak-Bench surmonte efficacement ce défi.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.