Quand moins c'est plus : Exploration de l'élagage des données pour le pré-entraînement des LLM à grande échelle

When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

September 8, 2023

Auteurs: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker

cs.AI

Résumé

De grandes quantités de données textuelles ont contribué de manière significative au développement des modèles de langage à grande échelle (LLMs) ces dernières années. Ces données sont généralement acquises par le biais du scraping d'internet, ce qui aboutit à des ensembles de données de pré-entraînement composés de textes web bruyants. Jusqu'à présent, les efforts pour élaguer ces ensembles de données afin d'obtenir un sous-ensemble de meilleure qualité ont reposé sur des heuristiques manuelles encodées sous forme de filtres basés sur des règles. Dans ce travail, nous adoptons une perspective plus large et explorons des estimations scalables de la qualité des données qui peuvent être utilisées pour mesurer systématiquement la qualité des données de pré-entraînement. Nous effectuons une comparaison rigoureuse à grande échelle de l'estimateur simple de qualité des données qu'est la perplexité, ainsi que des estimations plus sophistiquées et intensives en calcul de la norme L2 de l'erreur et de la mémorisation. Ces métriques sont utilisées pour classer et élaguer les corpus de pré-entraînement, et nous comparons ensuite les LLMs entraînés sur ces ensembles de données élagués. Étonnamment, nous constatons que la technique simple de la perplexité surpasse nos méthodes de scoring plus coûteuses en termes de calcul. Nous améliorons notre référence sans élagage tout en nous entraînant sur seulement 30 % de l'ensemble de données d'entraînement original. Notre travail pose les bases de stratégies inexplorées pour la curation automatique de corpus de haute qualité et suggère que la majorité des données de pré-entraînement peut être supprimée tout en conservant les performances.

English

Large volumes of text data have contributed significantly to the development of large language models (LLMs) in recent years. This data is typically acquired by scraping the internet, leading to pretraining datasets comprised of noisy web text. To date, efforts to prune these datasets down to a higher quality subset have relied on hand-crafted heuristics encoded as rule-based filters. In this work, we take a wider view and explore scalable estimates of data quality that can be used to systematically measure the quality of pretraining data. We perform a rigorous comparison at scale of the simple data quality estimator of perplexity, as well as more sophisticated and computationally intensive estimates of the Error L2-Norm and memorization. These metrics are used to rank and prune pretraining corpora, and we subsequently compare LLMs trained on these pruned datasets. Surprisingly, we find that the simple technique of perplexity outperforms our more computationally expensive scoring methods. We improve over our no-pruning baseline while training on as little as 30% of the original training dataset. Our work sets the foundation for unexplored strategies in automatically curating high quality corpora and suggests the majority of pretraining data can be removed while retaining performance.