Skalierung von Intelligenz: Beschleunigung der Vorabtrainierung großer Sprachmodelle mit kleiner Modellinitialisierung.

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Autoren: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Zusammenfassung

Die Vorphase des Trainings von Sprachmodellen beginnt oft mit zufällig initialisierten Parametern. Mit den aktuellen Trends bei der Skalierung von Modellen kann das Training ihrer großen Anzahl an Parametern extrem langsam und kostspielig sein. Im Gegensatz dazu sind kleine Sprachmodelle günstiger zu trainieren, erreichen jedoch oft nicht die Genauigkeit großer Modelle. In diesem Paper untersuchen wir eine faszinierende Idee, um diese beiden verschiedenen Bereiche zu verbinden: Können wir eine Methode entwickeln, um große Sprachmodelle mit Hilfe kleinerer vortrainierter Modelle zu initialisieren? Wird eine solche Initialisierung Vorteile in Bezug auf Trainingszeit und endgültige Genauigkeit bringen? In diesem Paper stellen wir HyperCloning vor, eine Methode, die die Parameter eines vortrainierten Sprachmodells auf die eines größeren Modells mit erhöhten versteckten Dimensionen erweitern kann. Unsere Methode stellt sicher, dass das größere Modell die Funktionalität des kleineren Modells beibehält. Als Ergebnis erbt das größere Modell bereits die Vorhersagekraft und Genauigkeit des kleineren Modells, bevor das Training beginnt. Wir zeigen, dass das Training eines solchen initialisierten Modells signifikante Einsparungen in Bezug auf die für das Vortraining großer Sprachmodelle erforderlichen GPU-Stunden mit sich bringt.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.