Verward door Perplexiteit: Perplexiteit-Gebaseerde Datasnoei met Kleine Referentiemodellen

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models

May 30, 2024

Auteurs: Zachary Ankner, Cody Blakeney, Kartik Sreenivasan, Max Marion, Matthew L. Leavitt, Mansheej Paul

cs.AI

Samenvatting

In dit onderzoek onderzoeken we of kleine taalmodelen hoogwaardige subsets van grootschalige tekstdatasets kunnen bepalen die de prestaties van grotere taalmodelen verbeteren. Hoewel bestaand werk heeft aangetoond dat selectie op basis van de perplexiteit van een groter model hoogwaardige data kan opleveren, onderzoeken we of kleinere modellen kunnen worden gebruikt voor perplexiteitsgebaseerde selectie en hoe selectie wordt beïnvloed door de domeinsamenstelling van de data die wordt geselecteerd. We tonen aan dat voor meerdere datasetsamenstellingen, perplexiteitsgebaseerde selectie van vooraf getrainde data de prestaties op downstream taken aanzienlijk kan verbeteren: selectie op basis van perplexiteiten berekend met een model van 125 miljoen parameters verbetert de gemiddelde prestatie op downstream taken van een model van 3 miljard parameters met maximaal 2,04 en bereikt tot een 1,45-voudige reductie in het aantal vooraf trainingsstappen om vergelijkbare basisprestaties te bereiken. Bovendien tonen we aan dat dergelijke perplexiteitsgebaseerde dataselectie ook prestatieverbeteringen oplevert in de overgetrainde en data-beperkte regimes.

English

In this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a larger model can yield high-quality data, we investigate whether smaller models can be used for perplexity-based pruning and how pruning is affected by the domain composition of the data being pruned. We demonstrate that for multiple dataset compositions, perplexity-based pruning of pretraining data can significantly improve downstream task performance: pruning based on perplexities computed with a 125 million parameter model improves the average performance on downstream tasks of a 3 billion parameter model by up to 2.04 and achieves up to a 1.45times reduction in pretraining steps to reach commensurate baseline performance. Furthermore, we demonstrate that such perplexity-based data pruning also yields downstream performance gains in the over-trained and data-constrained regimes.