Opschalen Slim: Het versnellen van het vooraf trainen van grote taalmodellen met kleine modelinitialisatie.

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Auteurs: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Samenvatting

De pre-trainingsfase van taalmodellen begint vaak met willekeurig geïnitialiseerde parameters. Met de huidige trends in het schalen van modellen kan het trainen van hun grote aantal parameters extreem langzaam en kostbaar zijn. Daarentegen zijn kleine taalmodellen goedkoper om te trainen, maar ze kunnen vaak niet de nauwkeurigheid van grote modellen bereiken. In dit artikel verkennen we een intrigerend idee om deze twee verschillende regimes met elkaar te verbinden: Kunnen we een methode ontwikkelen om grote taalmodellen te initialiseren met behulp van kleinere vooraf getrainde modellen? Zal een dergelijke initialisatie voordelen opleveren wat betreft trainingsduur en uiteindelijke nauwkeurigheid? In dit artikel introduceren we HyperCloning, een methode die de parameters van een vooraf getraind taalmodel kan uitbreiden naar die van een groter model met verhoogde verborgen dimensies. Onze methode zorgt ervoor dat het grotere model de functionaliteit van het kleinere model behoudt. Als gevolg hiervan erft het grotere model al de voorspellende kracht en nauwkeurigheid van het kleinere model voordat de training begint. We tonen aan dat het trainen van een dergelijk geïnitialiseerd model leidt tot aanzienlijke besparingen wat betreft GPU-uren die nodig zijn voor het vooraf trainen van grote taalmodellen.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.