Escalonando Inteligentemente: Acelerando o Pré-treinamento de Modelos de Linguagem Grandes com Inicialização de Modelos Pequenos

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Autores: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Resumo

A fase de pré-treinamento de modelos de linguagem frequentemente começa com parâmetros inicializados aleatoriamente. Com as tendências atuais de escalonamento de modelos, treinar seu grande número de parâmetros pode ser extremamente lento e custoso. Em contraste, modelos de linguagem menores são menos dispendiosos de treinar, mas frequentemente não conseguem atingir a precisão dos modelos grandes. Neste artigo, exploramos uma ideia intrigante para conectar esses dois regimes diferentes: Podemos desenvolver um método para inicializar modelos de linguagem grandes usando modelos pré-treinados menores? Essa inicialização trará benefícios em termos de tempo de treinamento e precisão final? Neste artigo, apresentamos o HyperCloning, um método que pode expandir os parâmetros de um modelo de linguagem pré-treinado para os de um modelo maior com dimensões ocultas aumentadas. Nosso método garante que o modelo maior mantenha a funcionalidade do modelo menor. Como resultado, o modelo maior já herda o poder preditivo e a precisão do modelo menor antes do início do treinamento. Demonstramos que treinar um modelo inicializado desse modo resulta em economias significativas em termos de horas de GPU necessárias para o pré-treinamento de modelos de linguagem grandes.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.