GlotCC: Un corpus y un conjunto de herramientas de procesamiento para CommonCrawl de amplia cobertura y abierto para idiomas minoritarios

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

October 31, 2024

Autores: Amir Hossein Kargaran, François Yvon, Hinrich Schütze

cs.AI

Resumen

La necesidad de grandes corpus de texto ha aumentado con la llegada de modelos de lenguaje preentrenados y, en particular, el descubrimiento de leyes de escala para estos modelos. La mayoría de los corpus disponibles tienen datos suficientes solo para idiomas con grandes comunidades dominantes. Sin embargo, no hay un corpus disponible que (i) cubra una amplia gama de idiomas minoritarios; (ii) sea generado por un pipeline de código abierto reproducible; y (iii) esté rigurosamente limpio de ruido, haciéndolo confiable para su uso. Presentamos GlotCC, un corpus limpio a nivel de documento de 2TB en el dominio general derivado de CommonCrawl, que abarca más de 1000 idiomas. Ponemos a disposición de la comunidad de investigación GlotCC y el sistema utilizado para generarlo, incluyendo el pipeline, el modelo de identificación de idiomas y los filtros. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.

English

The need for large text corpora has increased with the advent of pretrained language models and, in particular, the discovery of scaling laws for these models. Most available corpora have sufficient data only for languages with large dominant communities. However, there is no corpus available that (i) covers a wide range of minority languages; (ii) is generated by an open-source reproducible pipeline; and (iii) is rigorously cleaned from noise, making it trustworthy to use. We present GlotCC, a clean, document-level, 2TB general domain corpus derived from CommonCrawl, covering more than 1000 languages. We make GlotCC and the system used to generate it - including the pipeline, language identification model, and filters - available to the research community. Corpus v. 1.0 https://huggingface.co/datasets/cis-lmu/GlotCC-v1, Pipeline v. 3.0 https://github.com/cisnlp/GlotCC.