AntiLeak-Bench: Het voorkomen van gegevensverontreiniging door automatisch benchmarks te construeren met bijgewerkte kennis uit de echte wereld.

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Auteurs: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Samenvatting

Datacontaminatie belemmert een eerlijke evaluatie van LLM door testgegevens in de trainingssets van nieuwere modellen te introduceren. Bestaande studies lossen deze uitdaging op door benchmarks bij te werken met nieuw verzamelde gegevens. Ze slagen er echter niet in om een evaluatie zonder contaminatie te garanderen, aangezien de nieuw verzamelde gegevens mogelijk al bestaande kennis bevatten, en hun benchmarkupdates steunen op intensieve menselijke arbeid. Om deze problemen aan te pakken, stellen wij in dit artikel AntiLeak-Bench voor, een geautomatiseerd benchmarkingframework tegen lekken. In plaats van simpelweg nieuw verzamelde gegevens te gebruiken, construeren we monsters met expliciet nieuwe kennis die afwezig is in de trainingssets van LLM's, wat dus zorgt voor een strikt contaminatievrije evaluatie. We ontwerpen verder een volledig geautomatiseerde workflow om onze benchmark te bouwen en bij te werken zonder menselijke arbeid. Dit verlaagt aanzienlijk de kosten van benchmarkonderhoud om opkomende LLM's te accommoderen. Door uitgebreide experimenten benadrukken we dat datacontaminatie waarschijnlijk al bestaat vóór de afkapdatum van LLM's en tonen we aan dat AntiLeak-Bench effectief deze uitdaging overwint.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.