Rapport sur la contamination des données de la tâche partagée CONDA 2024

Data Contamination Report from the 2024 CONDA Shared Task

July 31, 2024

Auteurs: Oscar Sainz, Iker García-Ferrero, Alon Jacovi, Jon Ander Campos, Yanai Elazar, Eneko Agirre, Yoav Goldberg, Wei-Lin Chen, Jenny Chim, Leshem Choshen, Luca D'Amico-Wong, Melissa Dell, Run-Ze Fan, Shahriar Golchin, Yucheng Li, Pengfei Liu, Bhavish Pahwa, Ameya Prabhu, Suryansh Sharma, Emily Silcock, Kateryna Solonko, David Stap, Mihai Surdeanu, Yu-Min Tseng, Vishaal Udandarao, Zengzhi Wang, Ruijie Xu, Jinglin Yang

cs.AI

Résumé

Le premier atelier sur la contamination des données (CONDA 2024) se concentre sur tous les aspects pertinents de la contamination des données en traitement automatique du langage naturel, où la contamination des données est définie comme des situations où les données d'évaluation sont incluses dans les corpus de pré-entraînement utilisés pour entraîner des modèles à grande échelle, compromettant ainsi les résultats d'évaluation. L'atelier a lancé une tâche partagée pour recueillir des preuves de contamination des données dans les ensembles de données et les modèles actuellement disponibles. L'objectif de cette tâche partagée et de la base de données associée est d'aider la communauté à comprendre l'étendue du problème et de permettre aux chercheurs d'éviter de rapporter des résultats d'évaluation sur des ressources connues comme étant contaminées. La tâche partagée fournit une base de données publique structurée et centralisée pour la collecte de preuves de contamination, ouverte aux contributions de la communauté via des demandes de pull sur GitHub. Ce premier article de compilation est basé sur 566 entrées signalées concernant 91 sources contaminées, provenant d'un total de 23 contributeurs. Les détails des événements individuels de contamination sont disponibles sur la plateforme. La plateforme reste en ligne et ouverte aux contributions de la communauté.

English

The 1st Workshop on Data Contamination (CONDA 2024) focuses on all relevant aspects of data contamination in natural language processing, where data contamination is understood as situations where evaluation data is included in pre-training corpora used to train large scale models, compromising evaluation results. The workshop fostered a shared task to collect evidence on data contamination in current available datasets and models. The goal of the shared task and associated database is to assist the community in understanding the extent of the problem and to assist researchers in avoiding reporting evaluation results on known contaminated resources. The shared task provides a structured, centralized public database for the collection of contamination evidence, open to contributions from the community via GitHub pool requests. This first compilation paper is based on 566 reported entries over 91 contaminated sources from a total of 23 contributors. The details of the individual contamination events are available in the platform. The platform continues to be online, open to contributions from the community.