AntiLeak-Bench: Verhindern von Datenkontamination durch automatische Erstellung von Benchmarks mit aktualisiertem Echtzeitwissen.

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Autoren: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Zusammenfassung

Die Datenkontamination behindert eine faire LLM-Bewertung, indem sie Testdaten in die Trainingssätze neuerer Modelle einführt. Bestehende Studien lösen diese Herausforderung, indem sie Benchmarks mit neu gesammelten Daten aktualisieren. Allerdings garantieren sie keine kontaminationsfreie Bewertung, da die neu gesammelten Daten bereits vorhandenes Wissen enthalten können und ihre Benchmark-Updates auf intensiver menschlicher Arbeit beruhen. Um diese Probleme anzugehen, schlagen wir in diesem Papier AntiLeak-Bench vor, ein automatisiertes Anti-Leakage-Benchmarking-Framework. Anstatt einfach nur neu gesammelte Daten zu verwenden, konstruieren wir Beispiele mit explizit neuem Wissen, das in den Trainingssätzen der LLMs fehlt, was eine streng kontaminationsfreie Bewertung gewährleistet. Wir entwerfen außerdem einen vollständig automatisierten Workflow zur Erstellung und Aktualisierung unseres Benchmarks ohne menschliche Arbeit. Dies reduziert die Kosten für die Benchmark-Wartung erheblich, um aufkommende LLMs zu berücksichtigen. Durch umfangreiche Experimente heben wir hervor, dass Datenkontamination wahrscheinlich vor der Abschneidezeit der LLMs existiert und zeigen, dass AntiLeak-Bench diese Herausforderung effektiv überwindet.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.