AntiLeak-Bench: Previniendo la Contaminación de Datos mediante la Construcción Automática de Benchmarks con Conocimiento Actualizado del Mundo Real

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Autores: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Resumen

La contaminación de datos obstaculiza la evaluación justa de LLM al introducir datos de prueba en los conjuntos de entrenamiento de modelos más nuevos. Los estudios existentes resuelven este desafío actualizando los puntos de referencia con datos recién recopilados. Sin embargo, no logran garantizar una evaluación libre de contaminación, ya que los datos recopilados recientemente pueden contener conocimientos preexistentes, y las actualizaciones de sus puntos de referencia dependen de un intenso trabajo humano. Para abordar estos problemas, en este documento proponemos AntiLeak-Bench, un marco de referencia automatizado contra la fuga de información. En lugar de simplemente utilizar datos recién recopilados, construimos muestras con conocimientos explícitamente nuevos ausentes de los conjuntos de entrenamiento de LLM, lo que garantiza una evaluación estrictamente libre de contaminación. Diseñamos además un flujo de trabajo completamente automatizado para construir y actualizar nuestro punto de referencia sin trabajo humano. Esto reduce significativamente el costo del mantenimiento del punto de referencia para adaptarse a los LLM emergentes. A través de experimentos extensos, destacamos que la contaminación de datos probablemente exista antes del tiempo límite de los LLM y demostramos que AntiLeak-Bench supera efectivamente este desafío.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.