L'IA générative pour les mathématiques : Partie I -- MathPile : Un corpus de pré-entraînement à l'échelle du milliard de tokens pour les mathématiques

Generative AI for Math: Part I -- MathPile: A Billion-Token-Scale Pretraining Corpus for Math

December 28, 2023

Auteurs: Zengzhi Wang, Rui Xia, Pengfei Liu

cs.AI

Résumé

Les corpus de grande échelle et de haute qualité constituent la pierre angulaire de la construction de modèles de base. Dans ce travail, nous présentons MathPile, un corpus diversifié et de haute qualité centré sur les mathématiques, comprenant environ 9,5 milliards de tokens. Tout au long de sa création, nous avons adhéré au principe du « moins est plus », en croyant fermement à la suprématie de la qualité des données sur la quantité, même lors de la phase de pré-entraînement. Nos efforts méticuleux de collecte et de traitement des données ont inclus une suite complexe de prétraitement, préfiltrage, identification de la langue, nettoyage, filtrage et déduplication, garantissant ainsi la haute qualité de notre corpus. De plus, nous avons effectué une détection de contamination des données sur les ensembles de tests de référence en aval pour éliminer les doublons. Nous espérons que notre MathPile pourra contribuer à améliorer les capacités de raisonnement mathématique des modèles de langage. Nous prévoyons de rendre open-source différentes versions de \mathpile ainsi que les scripts utilisés pour leur traitement, afin de faciliter les développements futurs dans ce domaine.

English

High-quality, large-scale corpora are the cornerstone of building foundation models. In this work, we introduce MathPile, a diverse and high-quality math-centric corpus comprising about 9.5 billion tokens. Throughout its creation, we adhered to the principle of ``less is more'', firmly believing in the supremacy of data quality over quantity, even in the pre-training phase. Our meticulous data collection and processing efforts included a complex suite of preprocessing, prefiltering, language identification, cleaning, filtering, and deduplication, ensuring the high quality of our corpus. Furthermore, we performed data contamination detection on downstream benchmark test sets to eliminate duplicates. We hope our MathPile can help to enhance the mathematical reasoning abilities of language models. We plan to open-source different versions of \mathpile with the scripts used for processing, to facilitate future developments in this field.