Perplexo com a Perplexidade: Poda de Dados Baseada em Perplexidade com Pequenos Modelos de Referência

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models

May 30, 2024

Autores: Zachary Ankner, Cody Blakeney, Kartik Sreenivasan, Max Marion, Matthew L. Leavitt, Mansheej Paul

cs.AI

Resumo

Neste trabalho, investigamos se modelos de linguagem menores podem determinar subconjuntos de alta qualidade em grandes conjuntos de dados textuais que melhoram o desempenho de modelos de linguagem maiores. Embora trabalhos existentes tenham demonstrado que a poda baseada na perplexidade de um modelo maior pode resultar em dados de alta qualidade, investigamos se modelos menores podem ser usados para a poda baseada em perplexidade e como a poda é afetada pela composição de domínio dos dados que estão sendo podados. Demonstramos que, para múltiplas composições de conjuntos de dados, a poda de dados de pré-treinamento baseada em perplexidade pode melhorar significativamente o desempenho em tarefas subsequentes: a poda baseada em perplexidades calculadas com um modelo de 125 milhões de parâmetros melhora o desempenho médio em tarefas subsequentes de um modelo de 3 bilhões de parâmetros em até 2,04 e alcança uma redução de até 1,45 vezes no número de etapas de pré-treinamento necessárias para atingir um desempenho de linha de base equivalente. Além disso, demonstramos que essa poda de dados baseada em perplexidade também resulta em ganhos de desempenho subsequente em regimes de supertreinamento e com restrição de dados.

English

In this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a larger model can yield high-quality data, we investigate whether smaller models can be used for perplexity-based pruning and how pruning is affected by the domain composition of the data being pruned. We demonstrate that for multiple dataset compositions, perplexity-based pruning of pretraining data can significantly improve downstream task performance: pruning based on perplexities computed with a 125 million parameter model improves the average performance on downstream tasks of a 3 billion parameter model by up to 2.04 and achieves up to a 1.45times reduction in pretraining steps to reach commensurate baseline performance. Furthermore, we demonstrate that such perplexity-based data pruning also yields downstream performance gains in the over-trained and data-constrained regimes.