Wanneer Minder Meer Is: Onderzoek naar Data Pruning voor het Pretrainen van LLM's op Schaal

When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

September 8, 2023

Auteurs: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker

cs.AI

Samenvatting

Grote hoeveelheden tekstdata hebben de afgelopen jaren aanzienlijk bijgedragen aan de ontwikkeling van grote taalmodelen (LLMs). Deze data wordt meestal verkregen door het web te scrapen, wat resulteert in vooraf getrainde datasets die bestaan uit rommelige webtekst. Tot nu toe hebben inspanningen om deze datasets te verfijnen tot een subset van hogere kwaliteit, vertrouwd op handmatig gemaakte heuristieken die zijn gecodeerd als op regels gebaseerde filters. In dit werk nemen we een breder perspectief en onderzoeken we schaalbare schattingen van data-kwaliteit die kunnen worden gebruikt om de kwaliteit van vooraf getrainde data systematisch te meten. We voeren een grondige vergelijking op grote schaal uit van de eenvoudige data-kwaliteitsschatting van perplexiteit, evenals meer geavanceerde en rekenintensieve schattingen van de Error L2-Norm en memorisatie. Deze metrieken worden gebruikt om vooraf getrainde corpora te rangschikken en te verfijnen, en we vergelijken vervolgens LLMs die zijn getraind op deze verfijnde datasets. Verrassend genoeg ontdekken we dat de eenvoudige techniek van perplexiteit onze rekenintensievere scoringsmethoden overtreft. We verbeteren onze baseline zonder verfijning terwijl we trainen op slechts 30% van de originele trainingsdataset. Ons werk legt de basis voor onontgonnen strategieën in het automatisch samenstellen van hoogwaardige corpora en suggereert dat het grootste deel van de vooraf getrainde data kan worden verwijderd terwijl de prestaties behouden blijven.

English

Large volumes of text data have contributed significantly to the development of large language models (LLMs) in recent years. This data is typically acquired by scraping the internet, leading to pretraining datasets comprised of noisy web text. To date, efforts to prune these datasets down to a higher quality subset have relied on hand-crafted heuristics encoded as rule-based filters. In this work, we take a wider view and explore scalable estimates of data quality that can be used to systematically measure the quality of pretraining data. We perform a rigorous comparison at scale of the simple data quality estimator of perplexity, as well as more sophisticated and computationally intensive estimates of the Error L2-Norm and memorization. These metrics are used to rank and prune pretraining corpora, and we subsequently compare LLMs trained on these pruned datasets. Surprisingly, we find that the simple technique of perplexity outperforms our more computationally expensive scoring methods. We improve over our no-pruning baseline while training on as little as 30% of the original training dataset. Our work sets the foundation for unexplored strategies in automatically curating high quality corpora and suggests the majority of pretraining data can be removed while retaining performance.