Dynaword: De Conjuntos de Dados de Única Execução para Desenvolvimento Contínuo

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025

Autores: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo

cs.AI

Resumo

Conjuntos de dados em grande escala são fundamentais para pesquisa e desenvolvimento em processamento de linguagem natural. No entanto, as abordagens atuais enfrentam três desafios principais: (1) dependência de fontes com licenciamento ambíguo, o que restringe o uso, compartilhamento e obras derivadas; (2) lançamentos estáticos de conjuntos de dados que impedem contribuições da comunidade e reduzem a longevidade; e (3) processos de garantia de qualidade restritos às equipes de publicação, em vez de aproveitar a expertise da comunidade. Para abordar essas limitações, introduzimos duas contribuições: a abordagem Dynaword e o Danish Dynaword. A abordagem Dynaword é um framework para criar conjuntos de dados em grande escala e abertos que podem ser continuamente atualizados por meio de colaboração comunitária. O Danish Dynaword é uma implementação concreta que valida essa abordagem e demonstra seu potencial. O Danish Dynaword contém mais de quatro vezes o número de tokens em comparação com lançamentos similares, é exclusivamente licenciado de forma aberta e recebeu múltiplas contribuições da indústria e da pesquisa. O repositório inclui testes leves para garantir formatação, qualidade e documentação dos dados, estabelecendo um framework sustentável para contribuições contínuas da comunidade e evolução do conjunto de dados.

English

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.