Quando Menos é Mais: Investigando a Poda de Dados para o Pré-treinamento de LLMs em Escala
When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale
September 8, 2023
Autores: Max Marion, Ahmet Üstün, Luiza Pozzobon, Alex Wang, Marzieh Fadaee, Sara Hooker
cs.AI
Resumo
Grandes volumes de dados textuais têm contribuído significativamente para o desenvolvimento de modelos de linguagem de grande escala (LLMs) nos últimos anos. Esses dados são tipicamente adquiridos por meio de raspagem da internet, resultando em conjuntos de dados de pré-treinamento compostos por textos da web com ruído. Até o momento, os esforços para reduzir esses conjuntos de dados a um subconjunto de maior qualidade têm se baseado em heurísticas manuais codificadas como filtros baseados em regras. Neste trabalho, adotamos uma visão mais ampla e exploramos estimativas escaláveis de qualidade de dados que podem ser usadas para medir sistematicamente a qualidade dos dados de pré-treinamento. Realizamos uma comparação rigorosa em larga escala do estimador simples de qualidade de dados baseado em perplexidade, bem como estimativas mais sofisticadas e computacionalmente intensivas da Norma L2 do Erro e da memorização. Essas métricas são usadas para classificar e reduzir corpora de pré-treinamento, e subsequentemente comparamos LLMs treinados nesses conjuntos de dados reduzidos. Surpreendentemente, descobrimos que a técnica simples de perplexidade supera nossos métodos de pontuação mais computacionalmente caros. Melhoramos nossa linha de base sem redução enquanto treinamos com apenas 30% do conjunto de dados de treinamento original. Nosso trabalho estabelece a base para estratégias ainda não exploradas na curadoria automática de corpora de alta qualidade e sugere que a maior parte dos dados de pré-treinamento pode ser removida sem comprometer o desempenho.
English
Large volumes of text data have contributed significantly to the development
of large language models (LLMs) in recent years. This data is typically
acquired by scraping the internet, leading to pretraining datasets comprised of
noisy web text. To date, efforts to prune these datasets down to a higher
quality subset have relied on hand-crafted heuristics encoded as rule-based
filters. In this work, we take a wider view and explore scalable estimates of
data quality that can be used to systematically measure the quality of
pretraining data. We perform a rigorous comparison at scale of the simple data
quality estimator of perplexity, as well as more sophisticated and
computationally intensive estimates of the Error L2-Norm and memorization.
These metrics are used to rank and prune pretraining corpora, and we
subsequently compare LLMs trained on these pruned datasets. Surprisingly, we
find that the simple technique of perplexity outperforms our more
computationally expensive scoring methods. We improve over our no-pruning
baseline while training on as little as 30% of the original training dataset.
Our work sets the foundation for unexplored strategies in automatically
curating high quality corpora and suggests the majority of pretraining data can
be removed while retaining performance.