スケーリングスマート：小さなモデルの初期化を用いた大規模言語モデルの事前学習の加速化

Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization

September 19, 2024

著者: Mohammad Samragh, Iman Mirzadeh, Keivan Alizadeh Vahid, Fartash Faghri, Minsik Cho, Moin Nabi, Devang Naik, Mehrdad Farajtabar

cs.AI

要旨

言語モデルの事前学習フェーズは、通常、ランダムに初期化されたパラメータで開始されます。モデルのスケーリングに関する現在のトレンドでは、多数のパラメータをトレーニングすることが非常に遅く、コストがかかることがあります。一方、小規模な言語モデルはトレーニングコストが低いですが、しばしば大規模なモデルの精度には達しません。本論文では、これら2つの異なる領域をつなぐ興味深いアイデアを探求します：小さな事前学習済みモデルを使用して大規模な言語モデルを初期化する方法を開発できるでしょうか？そのような初期化がトレーニング時間や最終的な精度にどのような利点をもたらすのでしょうか？本論文では、HyperCloningという方法を紹介します。この方法は、事前学習済み言語モデルのパラメータを増やし、隠れ層の次元を拡大して大規模なモデルにすることができます。我々の方法は、大規模なモデルが小さなモデルの機能性を保持することを確実にします。その結果、トレーニング開始前に、大規模なモデルはすでに小さなモデルの予測力と精度を継承しています。このような初期化されたモデルをトレーニングすることで、大規模な言語モデルの事前学習に必要なGPU時間を大幅に節約できることを示します。

English

The pre-training phase of language models often begins with randomly initialized parameters. With the current trends in scaling models, training their large number of parameters can be extremely slow and costly. In contrast, small language models are less expensive to train, but they often cannot achieve the accuracy of large models. In this paper, we explore an intriguing idea to connect these two different regimes: Can we develop a method to initialize large language models using smaller pre-trained models? Will such initialization bring any benefits in terms of training time and final accuracy? In this paper, we introduce HyperCloning, a method that can expand the parameters of a pre-trained language model to those of a larger model with increased hidden dimensions. Our method ensures that the larger model retains the functionality of the smaller model. As a result, the larger model already inherits the predictive power and accuracy of the smaller model before the training starts. We demonstrate that training such an initialized model results in significant savings in terms of GPU hours required for pre-training large language models.