Datenkontaminationsbericht aus der CONDA Shared Task 2024

Data Contamination Report from the 2024 CONDA Shared Task

July 31, 2024

Autoren: Oscar Sainz, Iker García-Ferrero, Alon Jacovi, Jon Ander Campos, Yanai Elazar, Eneko Agirre, Yoav Goldberg, Wei-Lin Chen, Jenny Chim, Leshem Choshen, Luca D'Amico-Wong, Melissa Dell, Run-Ze Fan, Shahriar Golchin, Yucheng Li, Pengfei Liu, Bhavish Pahwa, Ameya Prabhu, Suryansh Sharma, Emily Silcock, Kateryna Solonko, David Stap, Mihai Surdeanu, Yu-Min Tseng, Vishaal Udandarao, Zengzhi Wang, Ruijie Xu, Jinglin Yang

cs.AI

Zusammenfassung

Der 1. Workshop zum Thema Datenkontamination (CONDA 2024) konzentriert sich auf alle relevanten Aspekte der Datenkontamination in der natürlichen Sprachverarbeitung, wobei Datenkontamination als Situationen verstanden wird, in denen Evaluierungsdaten in die Vorabtrainingscorpora einbezogen sind, die zur Schulung von Modellen im großen Maßstab verwendet werden, was die Evaluierungsergebnisse beeinträchtigt. Der Workshop förderte eine gemeinsame Aufgabe, um Beweise für Datenkontamination in aktuellen verfügbaren Datensätzen und Modellen zu sammeln. Das Ziel der gemeinsamen Aufgabe und der zugehörigen Datenbank besteht darin, der Gemeinschaft zu helfen, das Ausmaß des Problems zu verstehen und Forschern zu helfen, Evaluierungsergebnisse auf bekannten kontaminierten Ressourcen zu vermeiden. Die gemeinsame Aufgabe stellt eine strukturierte, zentralisierte öffentliche Datenbank für die Sammlung von Kontaminationsbeweisen bereit, die über GitHub-Poolanfragen von der Gemeinschaft beigetragen werden kann. Dieses erste Kompilationspapier basiert auf 566 gemeldeten Einträgen über 91 kontaminierte Quellen von insgesamt 23 Beitragenden. Die Details der einzelnen Kontaminationsereignisse sind auf der Plattform verfügbar. Die Plattform bleibt online und steht für Beiträge aus der Gemeinschaft offen.

English

The 1st Workshop on Data Contamination (CONDA 2024) focuses on all relevant aspects of data contamination in natural language processing, where data contamination is understood as situations where evaluation data is included in pre-training corpora used to train large scale models, compromising evaluation results. The workshop fostered a shared task to collect evidence on data contamination in current available datasets and models. The goal of the shared task and associated database is to assist the community in understanding the extent of the problem and to assist researchers in avoiding reporting evaluation results on known contaminated resources. The shared task provides a structured, centralized public database for the collection of contamination evidence, open to contributions from the community via GitHub pool requests. This first compilation paper is based on 566 reported entries over 91 contaminated sources from a total of 23 contributors. The details of the individual contamination events are available in the platform. The platform continues to be online, open to contributions from the community.