Verwirrt von Verwirrung: Datenbereinigung basierend auf Verwirrung mit kleinen Referenzmodellen

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models

May 30, 2024

Autoren: Zachary Ankner, Cody Blakeney, Kartik Sreenivasan, Max Marion, Matthew L. Leavitt, Mansheej Paul

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir, ob kleine Sprachmodelle hochwertige Teilmengen von umfangreichen Textdatensätzen bestimmen können, die die Leistung größerer Sprachmodelle verbessern. Während bisherige Arbeiten gezeigt haben, dass das Beschneiden basierend auf der Perplexität eines größeren Modells hochwertige Daten liefern kann, untersuchen wir, ob kleinere Modelle für ein Perplexitäts-basiertes Beschneiden verwendet werden können und wie das Beschneiden durch die Domänenzusammensetzung der zu beschneidenden Daten beeinflusst wird. Wir zeigen, dass für mehrere Datensatzzusammensetzungen ein Perplexitäts-basiertes Beschneiden von Vortrainingsdaten die Leistung bei nachgelagerten Aufgaben signifikant verbessern kann: Das Beschneiden basierend auf Perplexitäten, berechnet mit einem Modell von 125 Millionen Parametern, verbessert die durchschnittliche Leistung bei nachgelagerten Aufgaben eines Modells mit 3 Milliarden Parametern um bis zu 2,04 und erreicht eine Reduzierung der Vortrainingsschritte um bis zu 1,45-fach, um eine vergleichbare Ausgangsleistung zu erreichen. Darüber hinaus zeigen wir, dass ein solches Perplexitäts-basiertes Datenbeschneiden auch Leistungsgewinne bei übertrainierten und datenbeschränkten Regimen bringt.

English

In this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a larger model can yield high-quality data, we investigate whether smaller models can be used for perplexity-based pruning and how pruning is affected by the domain composition of the data being pruned. We demonstrate that for multiple dataset compositions, perplexity-based pruning of pretraining data can significantly improve downstream task performance: pruning based on perplexities computed with a 125 million parameter model improves the average performance on downstream tasks of a 3 billion parameter model by up to 2.04 and achieves up to a 1.45times reduction in pretraining steps to reach commensurate baseline performance. Furthermore, we demonstrate that such perplexity-based data pruning also yields downstream performance gains in the over-trained and data-constrained regimes.