Dynaword: От одноразовых наборов данных к их непрерывному развитию
Dynaword: From One-shot to Continuously Developed Datasets
August 4, 2025
Авторы: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo
cs.AI
Аннотация
Крупномасштабные наборы данных являются основой для исследований и разработок в области обработки естественного языка. Однако современные подходы сталкиваются с тремя ключевыми проблемами: (1) зависимость от источников с неоднозначными лицензиями, что ограничивает использование, распространение и создание производных работ; (2) статичные выпуски наборов данных, которые препятствуют вкладу сообщества и снижают долговечность; (3) процессы обеспечения качества, ограниченные командами публикации, вместо использования экспертизы сообщества.
Для решения этих ограничений мы представляем два вклада: подход Dynaword и Danish Dynaword. Подход Dynaword — это фреймворк для создания крупномасштабных открытых наборов данных, которые могут непрерывно обновляться благодаря сотрудничеству сообщества. Danish Dynaword — это конкретная реализация, которая подтверждает эффективность этого подхода и демонстрирует его потенциал. Danish Dynaword содержит более чем в четыре раза больше токенов по сравнению с аналогичными выпусками, полностью открыто лицензирован и получил множество вкладов как от промышленности, так и от исследователей. Репозиторий включает легковесные тесты для обеспечения правильного форматирования данных, их качества и документации, создавая устойчивую основу для постоянного вклада сообщества и эволюции набора данных.
English
Large-scale datasets are foundational for research and development in natural
language processing. However, current approaches face three key challenges: (1)
reliance on ambiguously licensed sources restricting use, sharing, and
derivative works; (2) static dataset releases that prevent community
contributions and diminish longevity; and (3) quality assurance processes
restricted to publishing teams rather than leveraging community expertise.
To address these limitations, we introduce two contributions: the Dynaword
approach and Danish Dynaword. The Dynaword approach is a framework for creating
large-scale, open datasets that can be continuously updated through community
collaboration. Danish Dynaword is a concrete implementation that validates this
approach and demonstrates its potential. Danish Dynaword contains over four
times as many tokens as comparable releases, is exclusively openly licensed,
and has received multiple contributions across industry and research. The
repository includes light-weight tests to ensure data formatting, quality, and
documentation, establishing a sustainable framework for ongoing community
contributions and dataset evolution.