Mise à l'échelle intelligente : Accélération de la pré-formation de grands modèles de langage avec une initialisation de petit modèle

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Auteurs: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Résumé

La phase de pré-entraînement des modèles de langage commence souvent avec des paramètres initialisés de manière aléatoire. Avec les tendances actuelles en matière de mise à l'échelle des modèles, l'entraînement de leur grand nombre de paramètres peut être extrêmement lent et coûteux. En revanche, les petits modèles de langage sont moins coûteux à entraîner, mais ils ne parviennent souvent pas à atteindre la précision des grands modèles. Dans cet article, nous explorons une idée intrigante pour relier ces deux régimes différents : pouvons-nous développer une méthode pour initialiser de grands modèles de langage en utilisant des modèles pré-entraînés plus petits ? Une telle initialisation apportera-t-elle des avantages en termes de temps d'entraînement et de précision finale ? Dans cet article, nous présentons HyperCloning, une méthode qui peut étendre les paramètres d'un modèle de langage pré-entraîné à ceux d'un modèle plus grand avec des dimensions cachées accrues. Notre méthode garantit que le modèle plus grand conserve la fonctionnalité du modèle plus petit. Par conséquent, le modèle plus grand hérite déjà de la puissance prédictive et de la précision du modèle plus petit avant le début de l'entraînement. Nous démontrons que l'entraînement d'un tel modèle initialisé se traduit par des économies significatives en termes d'heures de GPU nécessaires pour le pré-entraînement de grands modèles de langage.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.