Rapporto sulla Contaminazione dei Dati dal Task Condiviso CONDA 2024
Data Contamination Report from the 2024 CONDA Shared Task
July 31, 2024
Autori: Oscar Sainz, Iker García-Ferrero, Alon Jacovi, Jon Ander Campos, Yanai Elazar, Eneko Agirre, Yoav Goldberg, Wei-Lin Chen, Jenny Chim, Leshem Choshen, Luca D'Amico-Wong, Melissa Dell, Run-Ze Fan, Shahriar Golchin, Yucheng Li, Pengfei Liu, Bhavish Pahwa, Ameya Prabhu, Suryansh Sharma, Emily Silcock, Kateryna Solonko, David Stap, Mihai Surdeanu, Yu-Min Tseng, Vishaal Udandarao, Zengzhi Wang, Ruijie Xu, Jinglin Yang
cs.AI
Abstract
Il 1° Workshop sulla Contaminazione dei Dati (CONDA 2024) si concentra su tutti gli aspetti rilevanti della contaminazione dei dati nel campo dell'elaborazione del linguaggio naturale, dove la contaminazione dei dati è intesa come situazioni in cui i dati di valutazione sono inclusi nei corpora di pre-addestramento utilizzati per addestrare modelli su larga scala, compromettendo i risultati della valutazione. Il workshop ha promosso un task condiviso per raccogliere evidenze sulla contaminazione dei dati nei dataset e nei modelli attualmente disponibili. L'obiettivo del task condiviso e del database associato è aiutare la comunità a comprendere l'entità del problema e supportare i ricercatori nell'evitare di riportare risultati di valutazione su risorse note come contaminate. Il task condiviso fornisce un database pubblico strutturato e centralizzato per la raccolta di evidenze di contaminazione, aperto ai contributi della comunità tramite richieste di pool su GitHub. Questo primo articolo di compilazione si basa su 566 segnalazioni relative a 91 fonti contaminate, provenienti da un totale di 23 contributori. I dettagli dei singoli eventi di contaminazione sono disponibili sulla piattaforma. La piattaforma rimane online e aperta ai contributi della comunità.
English
The 1st Workshop on Data Contamination (CONDA 2024) focuses on all relevant
aspects of data contamination in natural language processing, where data
contamination is understood as situations where evaluation data is included in
pre-training corpora used to train large scale models, compromising evaluation
results. The workshop fostered a shared task to collect evidence on data
contamination in current available datasets and models. The goal of the shared
task and associated database is to assist the community in understanding the
extent of the problem and to assist researchers in avoiding reporting
evaluation results on known contaminated resources. The shared task provides a
structured, centralized public database for the collection of contamination
evidence, open to contributions from the community via GitHub pool requests.
This first compilation paper is based on 566 reported entries over 91
contaminated sources from a total of 23 contributors. The details of the
individual contamination events are available in the platform. The platform
continues to be online, open to contributions from the community.