Scalare in modo intelligente: Accelerare la preformazione di modelli linguistici di grandi dimensioni con l'inizializzazione di modelli piccoli

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Autori: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Abstract

La fase di pre-addestramento dei modelli linguistici spesso inizia con parametri inizializzati casualmente. Con le attuali tendenze nello scalare i modelli, addestrare il loro elevato numero di parametri può essere estremamente lento e costoso. Al contrario, i modelli linguistici più piccoli sono meno costosi da addestrare, ma spesso non riescono a raggiungere l'accuratezza dei modelli più grandi. In questo articolo, esploriamo un'idea intrigante per collegare questi due regimi diversi: possiamo sviluppare un metodo per inizializzare grandi modelli linguistici utilizzando modelli pre-addestrati più piccoli? Questa inizializzazione apporterà benefici in termini di tempo di addestramento e accuratezza finale? In questo articolo, presentiamo HyperCloning, un metodo che può espandere i parametri di un modello linguistico pre-addestrato a quelli di un modello più grande con dimensioni nascoste aumentate. Il nostro metodo garantisce che il modello più grande conservi la funzionalità del modello più piccolo. Di conseguenza, il modello più grande eredita già il potere predittivo e l'accuratezza del modello più piccolo prima dell'inizio dell'addestramento. Dimostriamo che addestrare un tale modello inizializzato comporta significativi risparmi in termini di ore di GPU necessarie per il pre-addestramento di grandi modelli linguistici.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.