Cuando Menos es Más: Investigando la Poda de Datos para el Pretrenamiento de LLMs a Gran Escala
When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale
September 8, 2023
Autores: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker
cs.AI
Resumen
Los grandes volúmenes de datos textuales han contribuido significativamente al desarrollo de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en los últimos años. Estos datos se adquieren típicamente mediante el rastreo de internet, lo que da lugar a conjuntos de datos de preentrenamiento compuestos por texto web ruidoso. Hasta la fecha, los esfuerzos para reducir estos conjuntos de datos a un subconjunto de mayor calidad se han basado en heurísticas diseñadas manualmente y codificadas como filtros basados en reglas. En este trabajo, adoptamos una perspectiva más amplia y exploramos estimaciones escalables de la calidad de los datos que pueden utilizarse para medir sistemáticamente la calidad de los datos de preentrenamiento. Realizamos una comparación rigurosa a gran escala del estimador simple de calidad de datos basado en la perplejidad, así como de estimaciones más sofisticadas y computacionalmente intensivas como la norma L2 del error y la memorización. Estas métricas se utilizan para clasificar y reducir los corpus de preentrenamiento, y posteriormente comparamos los LLMs entrenados con estos conjuntos de datos reducidos. Sorprendentemente, encontramos que la técnica simple de la perplejidad supera a nuestros métodos de puntuación más costosos computacionalmente. Mejoramos nuestra línea base sin reducción mientras entrenamos con tan solo el 30% del conjunto de datos de entrenamiento original. Nuestro trabajo sienta las bases para estrategias no exploradas en la curación automática de corpus de alta calidad y sugiere que la mayor parte de los datos de preentrenamiento pueden eliminarse sin perder rendimiento.
English
Large volumes of text data have contributed significantly to the development
of large language models (LLMs) in recent years. This data is typically
acquired by scraping the internet, leading to pretraining datasets comprised of
noisy web text. To date, efforts to prune these datasets down to a higher
quality subset have relied on hand-crafted heuristics encoded as rule-based
filters. In this work, we take a wider view and explore scalable estimates of
data quality that can be used to systematically measure the quality of
pretraining data. We perform a rigorous comparison at scale of the simple data
quality estimator of perplexity, as well as more sophisticated and
computationally intensive estimates of the Error L2-Norm and memorization.
These metrics are used to rank and prune pretraining corpora, and we
subsequently compare LLMs trained on these pruned datasets. Surprisingly, we
find that the simple technique of perplexity outperforms our more
computationally expensive scoring methods. We improve over our no-pruning
baseline while training on as little as 30% of the original training dataset.
Our work sets the foundation for unexplored strategies in automatically
curating high quality corpora and suggests the majority of pretraining data can
be removed while retaining performance.