GlotCC: открытый корпус и конвейер для меньшинственных языков на основе CommonCrawl

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Авторы: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Аннотация

С появлением предварительно обученных языковых моделей и, в частности, открытием законов масштабирования для этих моделей, возросла потребность в больших текстовых корпусах. Большинство доступных корпусов имеют достаточное количество данных только для языков с крупными доминирующими сообществами. Однако не существует корпуса, который (i) охватывал бы широкий спектр языков меньшинств; (ii) был бы создан с использованием открытого воспроизводимого конвейера; и (iii) строго очищен от шума, что делает его надежным для использования. Мы представляем GlotCC - чистый корпус общего назначения на уровне документа объемом 2 ТБ, полученный из CommonCrawl и охватывающий более 1000 языков. Мы предоставляем GlotCC и систему, использованную для его создания - включая конвейер, модель идентификации языка и фильтры - на использование исследовательскому сообществу. Корпус v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Конвейер v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.