Effiziente Datenmischung: Ein bivariates Skalengesetz für das Vortrainieren von Sprachmodellen

Data Mixing Made Efficient: A Bivariate Scaling Law for Language Model Pretraining

May 23, 2024

Autoren: Ce Ge, Zhijian Ma, Daoyuan Chen, Yaliang Li, Bolin Ding

cs.AI

Zusammenfassung

Große Sprachmodelle zeigen außergewöhnliche Verallgemeinerungsfähigkeiten, die hauptsächlich auf die Nutzung vielfältig beschaffener Daten zurückzuführen sind. Allerdings beruhen herkömmliche Praktiken zur Integration dieser vielfältigen Daten stark auf heuristischen Ansätzen, die theoretische Anleitung vermissen lassen. Diese Forschung begegnet diesen Einschränkungen, indem sie Strategien untersucht, die auf kostengünstigen Stellvertretern für Datenmischungen basieren, mit dem Ziel, die Datenkuration zu optimieren und die Trainingseffizienz zu steigern. Konkret schlagen wir ein vereinheitlichtes Skalierungsgesetz namens BiMix vor, das das bivariate Skalierungsverhalten sowohl der Datenmenge als auch der Mischungsverhältnisse präzise modelliert. Wir führen systematische Experimente durch und liefern empirische Belege für die Vorhersagekraft und die grundlegenden Prinzipien von BiMix. Insbesondere zeigen unsere Ergebnisse, dass entropiegesteuerte, trainingfreie Datenmischungen vergleichbare oder sogar bessere Leistungen erzielen können als ressourcenintensivere Methoden. Wir hoffen, dass unsere quantitativen Erkenntnisse dazu beitragen können, weitere sorgfältige Forschung und Entwicklung im kosteneffizienten Sprachmodellieren zu beleuchten.

English

Large language models exhibit exceptional generalization capabilities, primarily attributed to the utilization of diversely sourced data. However, conventional practices in integrating this diverse data heavily rely on heuristic schemes, lacking theoretical guidance. This research tackles these limitations by investigating strategies based on low-cost proxies for data mixtures, with the aim of streamlining data curation to enhance training efficiency. Specifically, we propose a unified scaling law, termed BiMix, which accurately models the bivariate scaling behaviors of both data quantity and mixing proportions. We conduct systematic experiments and provide empirical evidence for the predictive power and fundamental principles of BiMix. Notably, our findings reveal that entropy-driven training-free data mixtures can achieve comparable or even better performance than more resource-intensive methods. We hope that our quantitative insights can shed light on further judicious research and development in cost-effective language modeling.