Rapport over Gegevensbesmetting van de CONDA Gedeelde Taak 2024
Data Contamination Report from the 2024 CONDA Shared Task
July 31, 2024
Auteurs: Oscar Sainz, Iker García-Ferrero, Alon Jacovi, Jon Ander Campos, Yanai Elazar, Eneko Agirre, Yoav Goldberg, Wei-Lin Chen, Jenny Chim, Leshem Choshen, Luca D'Amico-Wong, Melissa Dell, Run-Ze Fan, Shahriar Golchin, Yucheng Li, Pengfei Liu, Bhavish Pahwa, Ameya Prabhu, Suryansh Sharma, Emily Silcock, Kateryna Solonko, David Stap, Mihai Surdeanu, Yu-Min Tseng, Vishaal Udandarao, Zengzhi Wang, Ruijie Xu, Jinglin Yang
cs.AI
Samenvatting
De 1e Workshop over Datavervuiling (CONDA 2024) richt zich op alle relevante aspecten van datavervuiling in natuurlijke taalverwerking, waarbij datavervuiling wordt begrepen als situaties waarin evaluatiedata is opgenomen in de pre-trainingscorpora die worden gebruikt om grootschalige modellen te trainen, wat de evaluatieresultaten compromitteert. De workshop heeft een gezamenlijke taak gestimuleerd om bewijs te verzamelen over datavervuiling in momenteel beschikbare datasets en modellen. Het doel van de gezamenlijke taak en de bijbehorende database is om de gemeenschap te helpen bij het begrijpen van de omvang van het probleem en om onderzoekers te ondersteunen bij het vermijden van het rapporteren van evaluatieresultaten op bekende vervuilde bronnen. De gezamenlijke taak biedt een gestructureerde, gecentraliseerde openbare database voor het verzamelen van bewijs van vervuiling, die openstaat voor bijdragen van de gemeenschap via GitHub pull requests. Dit eerste compilatiepaper is gebaseerd op 566 gerapporteerde invoeren over 91 vervuilde bronnen van in totaal 23 bijdragers. De details van de individuele vervuilingsgebeurtenissen zijn beschikbaar op het platform. Het platform blijft online en staat open voor bijdragen van de gemeenschap.
English
The 1st Workshop on Data Contamination (CONDA 2024) focuses on all relevant
aspects of data contamination in natural language processing, where data
contamination is understood as situations where evaluation data is included in
pre-training corpora used to train large scale models, compromising evaluation
results. The workshop fostered a shared task to collect evidence on data
contamination in current available datasets and models. The goal of the shared
task and associated database is to assist the community in understanding the
extent of the problem and to assist researchers in avoiding reporting
evaluation results on known contaminated resources. The shared task provides a
structured, centralized public database for the collection of contamination
evidence, open to contributions from the community via GitHub pool requests.
This first compilation paper is based on 566 reported entries over 91
contaminated sources from a total of 23 contributors. The details of the
individual contamination events are available in the platform. The platform
continues to be online, open to contributions from the community.