Dynaword: De conjuntos de datos únicos a desarrollados continuamente

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025

Autores: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo

cs.AI

Resumen

Los conjuntos de datos a gran escala son fundamentales para la investigación y el desarrollo en el procesamiento del lenguaje natural. Sin embargo, los enfoques actuales enfrentan tres desafíos clave: (1) dependencia de fuentes con licencias ambiguas que restringen su uso, compartición y obras derivadas; (2) lanzamientos estáticos de conjuntos de datos que impiden las contribuciones de la comunidad y reducen su longevidad; y (3) procesos de garantía de calidad limitados a los equipos de publicación en lugar de aprovechar la experiencia de la comunidad. Para abordar estas limitaciones, presentamos dos contribuciones: el enfoque Dynaword y Danish Dynaword. El enfoque Dynaword es un marco para crear conjuntos de datos abiertos a gran escala que pueden actualizarse continuamente mediante la colaboración comunitaria. Danish Dynaword es una implementación concreta que valida este enfoque y demuestra su potencial. Danish Dynaword contiene más de cuatro veces la cantidad de tokens en comparación con lanzamientos similares, está exclusivamente bajo licencias abiertas y ha recibido múltiples contribuciones tanto de la industria como de la investigación. El repositorio incluye pruebas ligeras para garantizar el formato, la calidad y la documentación de los datos, estableciendo un marco sostenible para contribuciones comunitarias continuas y la evolución del conjunto de datos.

English

Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.