AntiLeak-Bench: Предотвращение загрязнения данных путем автоматического создания бенчмарков с обновленными знаниями из реального мира.

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Авторы: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Аннотация

Загрязнение данных затрудняет справедливую оценку LLM путем внесения тестовых данных в наборы данных обучения новых моделей. Существующие исследования решают эту проблему путем обновления эталонов с новыми собранными данными. Однако они не гарантируют оценку без загрязнения, поскольку новые собранные данные могут содержать предварительные знания, а обновления эталонов основаны на интенсивном человеческом труде. Для решения этих проблем в данной статье мы предлагаем AntiLeak-Bench, автоматизированную систему бенчмаркинга для борьбы с утечками. Вместо простого использования только что собранных данных, мы создаем выборки с явно новыми знаниями, отсутствующими в наборах данных обучения LLM, что обеспечивает строгое отсутствие загрязнения при оценке. Мы также разработали полностью автоматизированный рабочий процесс для создания и обновления нашего эталона без участия человека. Это значительно снижает затраты на обслуживание эталонов для адаптации к новым LLM. Через обширные эксперименты мы подчеркиваем, что загрязнение данных вероятно существует до времени отсечения LLM и демонстрируем, что AntiLeak-Bench успешно преодолевает эту проблему.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.