Масштабирование умных моделей: ускорение предварительного обучения больших языковых моделей с инициализацией малых моделей.

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Авторы: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Аннотация

Фаза предварительного обучения языковых моделей часто начинается с параметров, инициализированных случайным образом. С учетом текущих тенденций в масштабировании моделей обучение их большого количества параметров может быть чрезвычайно медленным и затратным. В отличие от этого, небольшие языковые модели дешевле обучать, но часто не могут достичь точности больших моделей. В данной статье мы исследуем увлекательную идею объединения этих двух различных режимов: можем ли мы разработать метод инициализации больших языковых моделей с использованием меньших предварительно обученных моделей? Принесет ли такая инициализация какие-либо преимущества в плане времени обучения и конечной точности? В данной статье мы представляем HyperCloning, метод, который может расширить параметры предварительно обученной языковой модели до параметров более крупной модели с увеличенными скрытыми измерениями. Наш метод гарантирует, что более крупная модель сохраняет функциональность меньшей модели. В результате более крупная модель уже наследует предсказательную силу и точность меньшей модели до начала обучения. Мы демонстрируем, что обучение такой инициализированной модели приводит к значительной экономии в плане часов GPU, необходимых для предварительного обучения больших языковых моделей.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.