Escalando de forma inteligente: Acelerando el preentrenamiento de modelos de lenguaje grandes con inicialización de modelos pequeños.

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

Autores: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

Resumen

La fase de pre-entrenamiento de los modelos de lenguaje a menudo comienza con parámetros inicializados aleatoriamente. Con las tendencias actuales en la escalabilidad de los modelos, entrenar su gran cantidad de parámetros puede ser extremadamente lento y costoso. En contraste, los modelos de lenguaje pequeños son menos costosos de entrenar, pero a menudo no pueden alcanzar la precisión de los modelos grandes. En este documento, exploramos una idea intrigante para conectar estos dos regímenes diferentes: ¿Podemos desarrollar un método para inicializar modelos de lenguaje grandes utilizando modelos pre-entrenados más pequeños? ¿Traerá esta inicialización algún beneficio en términos de tiempo de entrenamiento y precisión final? En este documento, presentamos HyperCloning, un método que puede expandir los parámetros de un modelo de lenguaje pre-entrenado a los de un modelo más grande con dimensiones ocultas aumentadas. Nuestro método garantiza que el modelo más grande retenga la funcionalidad del modelo más pequeño. Como resultado, el modelo más grande ya hereda el poder predictivo y la precisión del modelo más pequeño antes de que comience el entrenamiento. Demostramos que entrenar un modelo inicializado de esta manera resulta en ahorros significativos en términos de horas de GPU requeridas para el pre-entrenamiento de modelos de lenguaje grandes.

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.