Generative KI für Mathematik: Teil I -- MathPile: Ein Vor-Trainingskorpus im Milliarden-Token-Maßstab für Mathematik

Generative AI for Math: Part I -- MathPile: A Billion-Token-Scale Pretraining Corpus for Math

December 28, 2023

Autoren: Zengzhi Wang, Rui Xia, Pengfei Liu

cs.AI

Zusammenfassung

Hochwertige, groß angelegte Korpora sind der Grundstein für den Aufbau von Foundation-Modellen. In dieser Arbeit stellen wir MathPile vor, ein vielfältiges und hochwertiges, mathematikzentriertes Korpus, das etwa 9,5 Milliarden Tokens umfasst. Während seiner Erstellung haben wir uns an das Prinzip „Weniger ist mehr“ gehalten und fest an die Überlegenheit der Datenqualität gegenüber der Quantität geglaubt, selbst in der Pre-Training-Phase. Unsere sorgfältigen Bemühungen bei der Datensammlung und -verarbeitung umfassten eine komplexe Suite von Vorverarbeitung, Vorfilterung, Spracherkennung, Bereinigung, Filterung und Deduplizierung, um die hohe Qualität unseres Korpus sicherzustellen. Darüber hinaus haben wir eine Datenkontaminationserkennung auf den Downstream-Benchmark-Testdatensätzen durchgeführt, um Duplikate zu eliminieren. Wir hoffen, dass unser MathPile dazu beitragen kann, die mathematischen Fähigkeiten von Sprachmodellen zu verbessern. Wir planen, verschiedene Versionen von \mathpile zusammen mit den für die Verarbeitung verwendeten Skripten zu veröffentlichen, um zukünftige Entwicklungen in diesem Bereich zu erleichtern.

English

High-quality, large-scale corpora are the cornerstone of building foundation models. In this work, we introduce MathPile, a diverse and high-quality math-centric corpus comprising about 9.5 billion tokens. Throughout its creation, we adhered to the principle of ``less is more'', firmly believing in the supremacy of data quality over quantity, even in the pre-training phase. Our meticulous data collection and processing efforts included a complex suite of preprocessing, prefiltering, language identification, cleaning, filtering, and deduplication, ensuring the high quality of our corpus. Furthermore, we performed data contamination detection on downstream benchmark test sets to eliminate duplicates. We hope our MathPile can help to enhance the mathematical reasoning abilities of language models. We plan to open-source different versions of \mathpile with the scripts used for processing, to facilitate future developments in this field.