Dynaword: Von Einmaligen zu kontinuierlich weiterentwickelten Datensätzen

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025

papers.authors: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo

cs.AI

papers.abstract

Große Datensätze sind grundlegend für Forschung und Entwicklung in der natürlichen Sprachverarbeitung. Aktuelle Ansätze stehen jedoch vor drei zentralen Herausforderungen: (1) die Abhängigkeit von Quellen mit unklaren Lizenzbedingungen, die Nutzung, Weitergabe und abgeleitete Werke einschränken; (2) statische Veröffentlichungen von Datensätzen, die Gemeinschaftsbeiträge verhindern und die Langlebigkeit beeinträchtigen; und (3) Qualitätssicherungsprozesse, die auf die veröffentlichenden Teams beschränkt sind, anstatt die Expertise der Gemeinschaft zu nutzen. Um diese Einschränkungen zu überwinden, stellen wir zwei Beiträge vor: den Dynaword-Ansatz und Danish Dynaword. Der Dynaword-Ansatz ist ein Rahmenwerk zur Erstellung groß angelegter, offener Datensätze, die durch Gemeinschaftszusammenarbeit kontinuierlich aktualisiert werden können. Danish Dynaword ist eine konkrete Implementierung, die diesen Ansatz validiert und sein Potenzial demonstriert. Danish Dynaword enthält mehr als viermal so viele Tokens wie vergleichbare Veröffentlichungen, ist ausschließlich offen lizenziert und hat zahlreiche Beiträge aus Industrie und Forschung erhalten. Das Repository umfasst leichtgewichtige Tests, um Datenformatierung, Qualität und Dokumentation sicherzustellen, und etabliert so ein nachhaltiges Rahmenwerk für fortlaufende Gemeinschaftsbeiträge und die Weiterentwicklung des Datensatzes.

English

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.