ChatPaper.aiChatPaper

Dynaword: ワンショットから継続的に開発されるデータセットへ

Dynaword: From One-shot to Continuously Developed Datasets

August 4, 2025
著者: Kenneth Enevoldsen, Kristian Nørgaard Jensen, Jan Kostkan, Balázs Szabó, Márton Kardos, Kirten Vad, Andrea Blasi Núñez, Gianluca Barmina, Jacob Nielsen, Rasmus Larsen, Peter Vahlstrup, Per Møldrup Dalum, Desmond Elliott, Lukas Galke, Peter Schneider-Kamp, Kristoffer Nielbo
cs.AI

要旨

大規模なデータセットは、自然言語処理の研究開発において基盤となるものである。しかし、現在のアプローチでは、以下の3つの主要な課題に直面している。(1) 曖昧なライセンスに依存しているため、使用、共有、および派生作品の作成が制限されること、(2) 静的なデータセットの公開により、コミュニティの貢献が妨げられ、持続性が低下すること、(3) 品質保証プロセスが公開チームに限定され、コミュニティの専門知識を活用できていないこと。 これらの制限に対処するため、我々は2つの貢献を紹介する。DynawordアプローチとDanish Dynawordである。Dynawordアプローチは、コミュニティの協力を通じて継続的に更新可能な大規模なオープンデータセットを作成するためのフレームワークである。Danish Dynawordは、このアプローチを検証し、その可能性を示す具体的な実装である。Danish Dynawordは、比較可能なリリースの4倍以上のトークンを含み、完全にオープンライセンスで提供されており、産業界と研究分野の両方から複数の貢献を受けている。このリポジトリには、データのフォーマット、品質、およびドキュメントを保証するための軽量なテストが含まれており、継続的なコミュニティの貢献とデータセットの進化のための持続可能なフレームワークを確立している。
English
Large-scale datasets are foundational for research and development in natural language processing. However, current approaches face three key challenges: (1) reliance on ambiguously licensed sources restricting use, sharing, and derivative works; (2) static dataset releases that prevent community contributions and diminish longevity; and (3) quality assurance processes restricted to publishing teams rather than leveraging community expertise. To address these limitations, we introduce two contributions: the Dynaword approach and Danish Dynaword. The Dynaword approach is a framework for creating large-scale, open datasets that can be continuously updated through community collaboration. Danish Dynaword is a concrete implementation that validates this approach and demonstrates its potential. Danish Dynaword contains over four times as many tokens as comparable releases, is exclusively openly licensed, and has received multiple contributions across industry and research. The repository includes light-weight tests to ensure data formatting, quality, and documentation, establishing a sustainable framework for ongoing community contributions and dataset evolution.
PDF132August 5, 2025