Dynaword: Van eenmalige naar continu ontwikkelde datasets

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025

Auteurs: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo

cs.AI

Samenvatting

Grootschalige datasets vormen de basis voor onderzoek en ontwikkeling in natuurlijke taalverwerking. Huidige benaderingen worden echter geconfronteerd met drie belangrijke uitdagingen: (1) afhankelijkheid van bronnen met onduidelijke licenties die gebruik, delen en afgeleide werken beperken; (2) statische datasetreleases die bijdragen van de gemeenschap verhinderen en de levensduur verminderen; en (3) kwaliteitsborgingsprocessen die beperkt zijn tot publicatieteams in plaats van gebruik te maken van de expertise van de gemeenschap. Om deze beperkingen aan te pakken, introduceren we twee bijdragen: de Dynaword-benadering en Danish Dynaword. De Dynaword-benadering is een raamwerk voor het creëren van grootschalige, open datasets die continu kunnen worden bijgewerkt door middel van gemeenschapssamenwerking. Danish Dynaword is een concrete implementatie die deze benadering valideert en het potentieel ervan aantoont. Danish Dynaword bevat meer dan vier keer zoveel tokens als vergelijkbare releases, is uitsluitend open gelicentieerd en heeft meerdere bijdragen ontvangen uit zowel de industrie als het onderzoek. De repository omvat lichtgewicht tests om de gegevensopmaak, kwaliteit en documentatie te waarborgen, waardoor een duurzaam raamwerk wordt gecreëerd voor voortdurende bijdragen van de gemeenschap en de evolutie van de dataset.

English

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.