Wenn Weniger Mehr Ist: Untersuchung von Datenreduktion für das Vorabtraining von LLMs im großen Maßstab

When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

September 8, 2023

Autoren: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker

cs.AI

Zusammenfassung

Große Mengen an Textdaten haben in den letzten Jahren maßgeblich zur Entwicklung von großen Sprachmodellen (LLMs) beigetragen. Diese Daten werden typischerweise durch das Scraping des Internets erworben, was zu Vorverarbeitungsdatensätzen führt, die aus verrauschtem Webtext bestehen. Bislang basierten Bemühungen, diese Datensätze auf eine qualitativ hochwertigere Teilmenge zu reduzieren, auf handgefertigten Heuristiken, die als regelbasierte Filter kodiert wurden. In dieser Arbeit nehmen wir eine breitere Perspektive ein und untersuchen skalierbare Schätzungen der Datenqualität, die systematisch zur Messung der Qualität von Vorverarbeitungsdaten verwendet werden können. Wir führen einen umfangreichen Vergleich des einfachen Datenqualitätsschätzers Perplexität sowie anspruchsvollerer und rechenintensiver Schätzungen der Fehler-L2-Norm und der Memorisierung durch. Diese Metriken werden verwendet, um Vorverarbeitungskorpora zu bewerten und zu reduzieren, und wir vergleichen anschließend LLMs, die auf diesen reduzierten Datensätzen trainiert wurden. Überraschenderweise stellen wir fest, dass die einfache Technik der Perplexität unsere rechenintensiveren Bewertungsmethoden übertrifft. Wir verbessern unsere Baseline ohne Reduktion, während wir mit nur 30 % des ursprünglichen Trainingsdatensatzes trainieren. Unsere Arbeit legt die Grundlage für unerforschte Strategien zur automatischen Kuratierung hochwertiger Korpora und deutet darauf hin, dass der Großteil der Vorverarbeitungsdaten entfernt werden kann, ohne die Leistung zu beeinträchtigen.

English

Large volumes of text data have contributed significantly to the development of large language models (LLMs) in recent years. This data is typically acquired by scraping the internet, leading to pretraining datasets comprised of noisy web text. To date, efforts to prune these datasets down to a higher quality subset have relied on hand-crafted heuristics encoded as rule-based filters. In this work, we take a wider view and explore scalable estimates of data quality that can be used to systematically measure the quality of pretraining data. We perform a rigorous comparison at scale of the simple data quality estimator of perplexity, as well as more sophisticated and computationally intensive estimates of the Error L2-Norm and memorization. These metrics are used to rank and prune pretraining corpora, and we subsequently compare LLMs trained on these pruned datasets. Surprisingly, we find that the simple technique of perplexity outperforms our more computationally expensive scoring methods. We improve over our no-pruning baseline while training on as little as 30% of the original training dataset. Our work sets the foundation for unexplored strategies in automatically curating high quality corpora and suggests the majority of pretraining data can be removed while retaining performance.