Mistura de Dados Eficiente: Uma Lei de Escalonamento Bivariada para o Pré-treinamento de Modelos de Linguagem

Data Mixing Made Efficient: A Bivariate Scaling Law for Language Model Pretraining

May 23, 2024

Autores: Ce Ge, Zhijian Ma, Daoyuan Chen, Yaliang Li, Bolin Ding

cs.AI

Resumo

Modelos de linguagem de grande escala exibem capacidades excepcionais de generalização, atribuídas principalmente à utilização de dados provenientes de fontes diversas. No entanto, as práticas convencionais de integração desses dados diversos dependem fortemente de esquemas heurísticos, carecendo de orientação teórica. Esta pesquisa aborda essas limitações ao investigar estratégias baseadas em proxies de baixo custo para misturas de dados, com o objetivo de simplificar a curadoria de dados para melhorar a eficiência do treinamento. Especificamente, propomos uma lei de escalonamento unificada, denominada BiMix, que modela com precisão os comportamentos de escalonamento bivariado tanto da quantidade de dados quanto das proporções de mistura. Realizamos experimentos sistemáticos e fornecemos evidências empíricas para o poder preditivo e os princípios fundamentais do BiMix. Notavelmente, nossos resultados revelam que misturas de dados sem treinamento, guiadas por entropia, podem alcançar desempenho comparável ou até superior a métodos mais intensivos em recursos. Esperamos que nossas análises quantitativas possam iluminar pesquisas e desenvolvimentos futuros em modelagem de linguagem com custo-benefício.

English

Large language models exhibit exceptional generalization capabilities, primarily attributed to the utilization of diversely sourced data. However, conventional practices in integrating this diverse data heavily rely on heuristic schemes, lacking theoretical guidance. This research tackles these limitations by investigating strategies based on low-cost proxies for data mixtures, with the aim of streamlining data curation to enhance training efficiency. Specifically, we propose a unified scaling law, termed BiMix, which accurately models the bivariate scaling behaviors of both data quantity and mixing proportions. We conduct systematic experiments and provide empirical evidence for the predictive power and fundamental principles of BiMix. Notably, our findings reveal that entropy-driven training-free data mixtures can achieve comparable or even better performance than more resource-intensive methods. We hope that our quantitative insights can shed light on further judicious research and development in cost-effective language modeling.