Les ensembles de données FineWeb : Filtrer le Web pour obtenir les meilleurs textes à grande échelle

The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale

June 25, 2024

Auteurs: Guilherme Penedo, Hynek Kydlíček, Loubna Ben allal, Anton Lozhkov, Margaret Mitchell, Colin Raffel, Leandro Von Werra, Thomas Wolf

cs.AI

Résumé

La performance d'un grand modèle de langage (LLM) dépend fortement de la qualité et de la taille de son jeu de données de pré-entraînement. Cependant, les jeux de données de pré-entraînement pour les LLM open source de pointe comme Llama 3 et Mixtral ne sont pas accessibles au public, et très peu d'informations sont disponibles sur leur processus de création. Dans ce travail, nous présentons FineWeb, un jeu de données de 15 000 milliards de tokens dérivé de 96 instantanés de Common Crawl, qui permet d'obtenir des LLM plus performants que les autres jeux de données de pré-entraînement ouverts. Pour approfondir la compréhension des meilleures pratiques de curation de jeux de données de pré-entraînement de haute qualité, nous documentons et analysons minutieusement tous les choix de conception utilisés dans FineWeb, y compris des investigations approfondies sur les stratégies de déduplication et de filtrage. En outre, nous introduisons FineWeb-Edu, une collection de 1 300 milliards de tokens de textes éducatifs filtrés à partir de FineWeb. Les LLM pré-entraînés sur FineWeb-Edu montrent une performance nettement supérieure sur des benchmarks exigeants en connaissances et en raisonnement, comme MMLU et ARC. En parallèle de nos jeux de données, nous rendons publics notre codebase de curation de données ainsi que tous les modèles entraînés lors de nos expériences d'ablation.

English

The performance of a large language model (LLM) depends heavily on the quality and size of its pretraining dataset. However, the pretraining datasets for state-of-the-art open LLMs like Llama 3 and Mixtral are not publicly available and very little is known about how they were created. In this work, we introduce FineWeb, a 15-trillion token dataset derived from 96 Common Crawl snapshots that produces better-performing LLMs than other open pretraining datasets. To advance the understanding of how best to curate high-quality pretraining datasets, we carefully document and ablate all of the design choices used in FineWeb, including in-depth investigations of deduplication and filtering strategies. In addition, we introduce FineWeb-Edu, a 1.3-trillion token collection of educational text filtered from FineWeb. LLMs pretrained on FineWeb-Edu exhibit dramatically better performance on knowledge- and reasoning-intensive benchmarks like MMLU and ARC. Along with our datasets, we publicly release our data curation codebase and all of the models trained during our ablation experiments.