LoGAH : Prédiction de Transformers à 774 millions de paramètres à l'aide d'HyperRéseaux de Graphes avec 1/100 des paramètres

LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

May 25, 2024

papers.authors: Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu

cs.AI

papers.abstract

Une bonne initialisation des modèles d'apprentissage profond est essentielle, car elle peut les aider à converger plus efficacement et plus rapidement. Cependant, le pré-entraînement de grands modèles est inaccessible pour de nombreux chercheurs, ce qui rend une prédiction souhaitable des paramètres initiaux plus nécessaire de nos jours. Les Graph HyperNetworks (GHNs), une approche pour prédire les paramètres des modèles, ont récemment démontré de solides performances dans l'initialisation de grands modèles de vision. Malheureusement, la prédiction des paramètres de réseaux très larges repose sur la copie répétée de petits blocs de paramètres et nécessite un nombre extrêmement élevé de paramètres pour supporter une prédiction complète, ce qui entrave grandement son adoption en pratique. Pour résoudre cette limitation, nous proposons LoGAH (Low-rank GrAph Hypernetworks), un GHN avec un décodeur de paramètres de faible rang qui s'étend à des réseaux significativement plus larges sans nécessiter une augmentation aussi excessive des paramètres que dans les tentatives précédentes. LoGAH nous permet de prédire les paramètres de réseaux neuronaux de 774 millions de paramètres de manière économe en mémoire. Nous montrons que les modèles de vision et de langage (c'est-à-dire ViT et GPT-2) initialisés avec LoGAH obtiennent de meilleures performances que ceux initialisés aléatoirement ou en utilisant des hypernetworks existants. De plus, nous montrons des résultats prometteurs en apprentissage par transfert en entraînant LoGAH sur de petits ensembles de données et en utilisant les paramètres prédits pour initialiser des tâches plus grandes. Nous fournissons les codes sur https://github.com/Blackzxy/LoGAH.

English

A good initialization of deep learning models is essential since it can help them converge better and faster. However, pretraining large models is unaffordable for many researchers, which makes a desired prediction for initial parameters more necessary nowadays. Graph HyperNetworks (GHNs), one approach to predicting model parameters, have recently shown strong performance in initializing large vision models. Unfortunately, predicting parameters of very wide networks relies on copying small chunks of parameters multiple times and requires an extremely large number of parameters to support full prediction, which greatly hinders its adoption in practice. To address this limitation, we propose LoGAH (Low-rank GrAph Hypernetworks), a GHN with a low-rank parameter decoder that expands to significantly wider networks without requiring as excessive increase of parameters as in previous attempts. LoGAH allows us to predict the parameters of 774-million large neural networks in a memory-efficient manner. We show that vision and language models (i.e., ViT and GPT-2) initialized with LoGAH achieve better performance than those initialized randomly or using existing hypernetworks. Furthermore, we show promising transfer learning results w.r.t. training LoGAH on small datasets and using the predicted parameters to initialize for larger tasks. We provide the codes in https://github.com/Blackzxy/LoGAH .