RegMix: Datamenging als regressie voor vooraf trainen van taalmodelen

Samenvatting

De datamix voor het vooraf trainen van grote taalmodellen heeft een aanzienlijke invloed op de prestaties, maar hoe een effectieve mix bepaald kan worden, blijft onduidelijk. Wij stellen RegMix voor om automatisch een hoogpresterende datamix te identificeren door dit te formuleren als een regressietaak. RegMix omvat het trainen van een reeks kleine modellen met diverse datamixen en het aanpassen van een regressiemodel om hun prestaties te voorspellen op basis van hun respectievelijke mixen. Met het aangepaste regressiemodel simuleren we de hoogst gerangschikte mix en gebruiken we deze om een grootschalig model te trainen met een rekenkracht die vele malen groter is. Om RegMix empirisch te valideren, trainen we 512 modellen met 1M parameters voor 1B tokens van verschillende mixen om het regressiemodel aan te passen en de optimale mix te vinden. Met deze mix trainen we een model met 1B parameters voor 25B tokens (d.w.z. 1000x groter en 25x langer), wat volgens ons het beste presteert onder 64 kandidaatmodellen met 1B parameters en andere mixen. Bovendien toont onze methode superieure prestaties in vergelijking met menselijke selectie en behaalt resultaten die overeenkomen met of DoReMi overtreffen, terwijl slechts 10% van het rekenbudget wordt gebruikt. Onze experimenten tonen ook aan dat (1) Datamixen een significante invloed hebben op de prestaties met variaties in enkeltaakprestaties van tot 14,6%; (2) Webcorpora in plaats van data die als hoogwaardig worden beschouwd, zoals Wikipedia, de sterkste positieve correlatie hebben met downstreamprestaties; (3) Domeinen op complexe manieren interageren die vaak tegen het gezond verstand ingaan, waardoor automatische benaderingen zoals RegMix nodig zijn; (4) De effecten van datamixen gaan verder dan schaalwetten, en onze benadering vangt de complexiteit door alle domeinen samen te beschouwen. Onze code is beschikbaar op https://github.com/sail-sg/regmix.

English

The data mixture for large language model pre-training significantly impacts performance, yet how to determine an effective mixture remains unclear. We propose RegMix to automatically identify a high-performing data mixture by formulating it as a regression task. RegMix involves training a set of small models with diverse data mixtures and fitting a regression model to predict their performance given their respective mixtures. With the fitted regression model, we simulate the top-ranked mixture and use it to train a large-scale model with orders of magnitude more compute. To empirically validate RegMix, we train 512 models with 1M parameters for 1B tokens of different mixtures to fit the regression model and find the optimal mixture. Using this mixture we train a 1B parameter model for 25B tokens (i.e. 1000x larger and 25x longer) which we find performs best among 64 candidate 1B parameter models with other mixtures. Further, our method demonstrates superior performance compared to human selection and achieves results that match or surpass DoReMi, while utilizing only 10% of the compute budget. Our experiments also show that (1) Data mixtures significantly impact performance with single-task performance variations of up to 14.6%; (2) Web corpora rather than data perceived as high-quality like Wikipedia have the strongest positive correlation with downstream performance; (3) Domains interact in complex ways often contradicting common sense, thus automatic approaches like RegMix are needed; (4) Data mixture effects transcend scaling laws, and our approach captures the complexity by considering all domains together. Our code is available at https://github.com/sail-sg/regmix.

RegMix: Datamenging als regressie voor vooraf trainen van taalmodelen

RegMix: Data Mixture as Regression for Language Model Pre-training

Samenvatting

Support