Data Mixing Efficiënt Gemaakt: Een Bivariate Schaalwet voor Pretraining van Taalmodellen

Data Mixing Made Efficient: A Bivariate Scaling Law for Language Model Pretraining

May 23, 2024

Auteurs: Ce Ge, Zhijian Ma, Daoyuan Chen, Yaliang Li, Bolin Ding

cs.AI

Samenvatting

Grote taalmodellen vertonen uitzonderlijke generalisatiecapaciteiten, voornamelijk toegeschreven aan het gebruik van divers samengestelde gegevensbronnen. Echter, conventionele praktijken bij het integreren van deze diverse gegevens zijn sterk afhankelijk van heuristische schema's, waarbij theoretische onderbouwing ontbreekt. Dit onderzoek gaat deze beperkingen te lijf door strategieën te onderzoeken die gebaseerd zijn op kosteneffectieve proxies voor gegevensmengsels, met als doel het stroomlijnen van gegevenscuratie om de trainings efficiëntie te verbeteren. Specifiek stellen we een uniforme schaalwet voor, genaamd BiMix, die nauwkeurig de bivariate schaalgedragingen van zowel gegevenshoeveelheid als mengverhoudingen modelleert. We voeren systematische experimenten uit en leveren empirisch bewijs voor de voorspellende kracht en fundamentele principes van BiMix. Opmerkelijk is dat onze bevindingen aantonen dat entropie-gestuurde, trainingsvrije gegevensmengsels vergelijkbare of zelfs betere prestaties kunnen bereiken dan meer resource-intensieve methoden. We hopen dat onze kwantitatieve inzichten verder verstandig onderzoek en ontwikkeling kunnen stimuleren op het gebied van kosteneffectieve taalmodellering.

English

Large language models exhibit exceptional generalization capabilities, primarily attributed to the utilization of diversely sourced data. However, conventional practices in integrating this diverse data heavily rely on heuristic schemes, lacking theoretical guidance. This research tackles these limitations by investigating strategies based on low-cost proxies for data mixtures, with the aim of streamlining data curation to enhance training efficiency. Specifically, we propose a unified scaling law, termed BiMix, which accurately models the bivariate scaling behaviors of both data quantity and mixing proportions. We conduct systematic experiments and provide empirical evidence for the predictive power and fundamental principles of BiMix. Notably, our findings reveal that entropy-driven training-free data mixtures can achieve comparable or even better performance than more resource-intensive methods. We hope that our quantitative insights can shed light on further judicious research and development in cost-effective language modeling.