Quando Meno è Meglio: Esplorare il Data Pruning per il Pretraining di LLM su Larga Scala
When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale
September 8, 2023
Autori: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker
cs.AI
Abstract
Grandi volumi di dati testuali hanno contribuito in modo significativo allo sviluppo dei grandi modelli linguistici (LLM) negli ultimi anni. Questi dati vengono tipicamente acquisiti attraverso il scraping del web, portando a dataset di pre-addestramento composti da testo web rumoroso. Fino ad oggi, gli sforzi per ridurre questi dataset a un sottoinsieme di qualità superiore si sono basati su euristiche manualmente costruite, codificate come filtri basati su regole. In questo lavoro, adottiamo una visione più ampia ed esploriamo stime scalabili della qualità dei dati che possono essere utilizzate per misurare sistematicamente la qualità dei dati di pre-addestramento. Eseguiamo un confronto rigoroso su larga scala del semplice stimatore di qualità dei dati basato sulla perplessità, nonché di stime più sofisticate e computazionalmente intensive come la norma L2 dell'errore e la memorizzazione. Queste metriche vengono utilizzate per classificare e ridurre i corpora di pre-addestramento, e successivamente confrontiamo i LLM addestrati su questi dataset ridotti. Sorprendentemente, scopriamo che la semplice tecnica della perplessità supera i nostri metodi di punteggio più costosi dal punto di vista computazionale. Miglioriamo rispetto alla nostra baseline senza riduzione, addestrando su appena il 30% del dataset di addestramento originale. Il nostro lavoro getta le basi per strategie inesplorate nella cura automatica di corpora di alta qualità e suggerisce che la maggior parte dei dati di pre-addestramento può essere rimossa mantenendo le prestazioni.
English
Large volumes of text data have contributed significantly to the development
of large language models (LLMs) in recent years. This data is typically
acquired by scraping the internet, leading to pretraining datasets comprised of
noisy web text. To date, efforts to prune these datasets down to a higher
quality subset have relied on hand-crafted heuristics encoded as rule-based
filters. In this work, we take a wider view and explore scalable estimates of
data quality that can be used to systematically measure the quality of
pretraining data. We perform a rigorous comparison at scale of the simple data
quality estimator of perplexity, as well as more sophisticated and
computationally intensive estimates of the Error L2-Norm and memorization.
These metrics are used to rank and prune pretraining corpora, and we
subsequently compare LLMs trained on these pruned datasets. Surprisingly, we
find that the simple technique of perplexity outperforms our more
computationally expensive scoring methods. We improve over our no-pruning
baseline while training on as little as 30% of the original training dataset.
Our work sets the foundation for unexplored strategies in automatically
curating high quality corpora and suggests the majority of pretraining data can
be removed while retaining performance.