Mezcla de Datos Hecha Eficiente: Una Ley de Escalado Bivariada para el Pretrenamiento de Modelos de Lenguaje

Data Mixing Made Efficient: A Bivariate Scaling Law for Language Model Pretraining

May 23, 2024

Autores: Ce Ge, Zhijian Ma, Daoyuan Chen, Yaliang Li, Bolin Ding

cs.AI

Resumen

Los modelos de lenguaje a gran escala exhiben capacidades excepcionales de generalización, atribuidas principalmente al uso de datos provenientes de fuentes diversas. Sin embargo, las prácticas convencionales para integrar estos datos diversos dependen en gran medida de esquemas heurísticos, carentes de orientación teórica. Esta investigación aborda estas limitaciones al explorar estrategias basadas en proxies de bajo costo para mezclas de datos, con el objetivo de optimizar la curación de datos para mejorar la eficiencia del entrenamiento. Específicamente, proponemos una ley de escalado unificada, denominada BiMix, que modela con precisión los comportamientos de escalado bivariado tanto de la cantidad de datos como de las proporciones de mezcla. Realizamos experimentos sistemáticos y proporcionamos evidencia empírica sobre el poder predictivo y los principios fundamentales de BiMix. En particular, nuestros hallazgos revelan que las mezclas de datos libres de entrenamiento impulsadas por entropía pueden lograr un rendimiento comparable o incluso superior a métodos más intensivos en recursos. Esperamos que nuestras perspectivas cuantitativas puedan iluminar futuras investigaciones y desarrollos juiciosos en el modelado de lenguaje rentable.

English

Large language models exhibit exceptional generalization capabilities, primarily attributed to the utilization of diversely sourced data. However, conventional practices in integrating this diverse data heavily rely on heuristic schemes, lacking theoretical guidance. This research tackles these limitations by investigating strategies based on low-cost proxies for data mixtures, with the aim of streamlining data curation to enhance training efficiency. Specifically, we propose a unified scaling law, termed BiMix, which accurately models the bivariate scaling behaviors of both data quantity and mixing proportions. We conduct systematic experiments and provide empirical evidence for the predictive power and fundamental principles of BiMix. Notably, our findings reveal that entropy-driven training-free data mixtures can achieve comparable or even better performance than more resource-intensive methods. We hope that our quantitative insights can shed light on further judicious research and development in cost-effective language modeling.