Perplessi dalla Perplessità: Potatura dei Dati Basata sulla Perplessità con Modelli di Riferimento Piccoli

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models

May 30, 2024

Autori: Zachary Ankner, Cody Blakeney, Kartik Sreenivasan, Max Marion, Matthew L. Leavitt, Mansheej Paul

cs.AI

Abstract

In questo lavoro, indaghiamo se modelli linguistici di piccole dimensioni possano determinare sottoinsiemi di alta qualità di dataset testuali su larga scala che migliorino le prestazioni di modelli linguistici più grandi. Mentre lavori esistenti hanno dimostrato che la potatura basata sulla perplessità di un modello più grande può produrre dati di alta qualità, noi esploriamo se modelli più piccoli possano essere utilizzati per la potatura basata sulla perplessità e come la potatura sia influenzata dalla composizione del dominio dei dati sottoposti a potatura. Dimostriamo che, per molteplici composizioni di dataset, la potatura basata sulla perplessità dei dati di pre-addestramento può migliorare significativamente le prestazioni su task downstream: la potatura basata sulle perplessità calcolate con un modello da 125 milioni di parametri migliora le prestazioni medie su task downstream di un modello da 3 miliardi di parametri fino a 2,04 e riduce fino a 1,45 volte i passi di pre-addestramento necessari per raggiungere prestazioni baseline equivalenti. Inoltre, dimostriamo che tale potatura dei dati basata sulla perplessità produce anche guadagni di prestazioni downstream nei regimi di sovra-addestramento e di vincolo di dati.

English

In this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a larger model can yield high-quality data, we investigate whether smaller models can be used for perplexity-based pruning and how pruning is affected by the domain composition of the data being pruned. We demonstrate that for multiple dataset compositions, perplexity-based pruning of pretraining data can significantly improve downstream task performance: pruning based on perplexities computed with a 125 million parameter model improves the average performance on downstream tasks of a 3 billion parameter model by up to 2.04 and achieves up to a 1.45times reduction in pretraining steps to reach commensurate baseline performance. Furthermore, we demonstrate that such perplexity-based data pruning also yields downstream performance gains in the over-trained and data-constrained regimes.