Dynaword: Dai dataset one-shot ai dataset in sviluppo continuo

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025

Autori: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo

cs.AI

Abstract

I dataset su larga scala sono fondamentali per la ricerca e lo sviluppo nel campo dell'elaborazione del linguaggio naturale. Tuttavia, gli approcci attuali affrontano tre sfide principali: (1) la dipendenza da fonti con licenze ambigue che limitano l'uso, la condivisione e le opere derivate; (2) rilasci statici di dataset che impediscono i contributi della comunità e riducono la longevità; (3) processi di controllo della qualità limitati ai team di pubblicazione, senza sfruttare l'esperienza della comunità. Per affrontare queste limitazioni, introduciamo due contributi: l'approccio Dynaword e Danish Dynaword. L'approccio Dynaword è un framework per creare dataset su larga scala e aperti, che possono essere aggiornati continuamente attraverso la collaborazione della comunità. Danish Dynaword è un'implementazione concreta che valida questo approccio e ne dimostra il potenziale. Danish Dynaword contiene oltre quattro volte il numero di token rispetto a rilasci comparabili, è esclusivamente con licenza aperta e ha ricevuto numerosi contributi da parte di industria e ricerca. Il repository include test leggeri per garantire la formattazione, la qualità e la documentazione dei dati, stabilendo un framework sostenibile per i contributi continui della comunità e l'evoluzione del dataset.

English

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.