Perplejo ante la Perplejidad: Poda de Datos Basada en Perplejidad con Modelos de Referencia Pequeños

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models

May 30, 2024

Autores: Zachary Ankner, Cody Blakeney, Kartik Sreenivasan, Max Marion, Matthew L. Leavitt, Mansheej Paul

cs.AI

Resumen

En este trabajo, investigamos si los modelos de lenguaje pequeños pueden determinar subconjuntos de alta calidad en conjuntos de datos de texto a gran escala que mejoren el rendimiento de modelos de lenguaje más grandes. Si bien trabajos previos han demostrado que la poda basada en la perplejidad de un modelo más grande puede producir datos de alta calidad, exploramos si los modelos más pequeños pueden utilizarse para la poda basada en perplejidad y cómo la composición del dominio de los datos afecta este proceso. Demostramos que, para múltiples composiciones de conjuntos de datos, la poda de datos de preentrenamiento basada en perplejidad puede mejorar significativamente el rendimiento en tareas posteriores: la poda basada en perplejidades calculadas con un modelo de 125 millones de parámetros mejora el rendimiento promedio en tareas posteriores de un modelo de 3 mil millones de parámetros hasta en 2.04 y logra una reducción de hasta 1.45 veces en los pasos de preentrenamiento para alcanzar un rendimiento base equivalente. Además, demostramos que esta poda de datos basada en perplejidad también genera mejoras en el rendimiento en regímenes de sobreentrenamiento y limitación de datos.

English

In this work, we investigate whether small language models can determine high-quality subsets of large-scale text datasets that improve the performance of larger language models. While existing work has shown that pruning based on the perplexity of a larger model can yield high-quality data, we investigate whether smaller models can be used for perplexity-based pruning and how pruning is affected by the domain composition of the data being pruned. We demonstrate that for multiple dataset compositions, perplexity-based pruning of pretraining data can significantly improve downstream task performance: pruning based on perplexities computed with a 125 million parameter model improves the average performance on downstream tasks of a 3 billion parameter model by up to 2.04 and achieves up to a 1.45times reduction in pretraining steps to reach commensurate baseline performance. Furthermore, we demonstrate that such perplexity-based data pruning also yields downstream performance gains in the over-trained and data-constrained regimes.