LoGAH: Het voorspellen van 774-miljoen-parameter Transformers met behulp van Grafiek HyperNetwerken met 1/100 van de parameters

LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

May 25, 2024

Auteurs: Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu

cs.AI

Samenvatting

Een goede initialisatie van deep learning-modellen is essentieel, omdat het kan helpen om deze beter en sneller te laten convergeren. Het pretrainen van grote modellen is echter voor veel onderzoekers onbetaalbaar, wat een gewenste voorspelling voor initiële parameters tegenwoordig noodzakelijker maakt. Graph HyperNetworks (GHNs), een benadering om modelparameters te voorspellen, hebben recentelijk sterke prestaties getoond bij het initialiseren van grote vision-modellen. Helaas is het voorspellen van parameters van zeer brede netwerken afhankelijk van het meerdere keren kopiëren van kleine stukjes parameters en vereist het een extreem groot aantal parameters om volledige voorspelling te ondersteunen, wat de praktische toepassing ervan sterk belemmert. Om deze beperking aan te pakken, stellen we LoGAH (Low-rank GrAph Hypernetworks) voor, een GHN met een low-rank parameterdecoder die zich uitbreidt naar aanzienlijk bredere netwerken zonder een zo excessieve toename van parameters te vereisen als bij eerdere pogingen. LoGAH stelt ons in staat om de parameters van 774 miljoen grote neurale netwerken op een geheugenefficiënte manier te voorspellen. We laten zien dat vision- en taalmodellen (d.w.z. ViT en GPT-2) die met LoGAH zijn geïnitialiseerd, betere prestaties leveren dan modellen die willekeurig of met bestaande hypernetworks zijn geïnitialiseerd. Bovendien tonen we veelbelovende transfer learning-resultaten door LoGAH te trainen op kleine datasets en de voorspelde parameters te gebruiken om te initialiseren voor grotere taken. We bieden de codes aan op https://github.com/Blackzxy/LoGAH.

English

A good initialization of deep learning models is essential since it can help them converge better and faster. However, pretraining large models is unaffordable for many researchers, which makes a desired prediction for initial parameters more necessary nowadays. Graph HyperNetworks (GHNs), one approach to predicting model parameters, have recently shown strong performance in initializing large vision models. Unfortunately, predicting parameters of very wide networks relies on copying small chunks of parameters multiple times and requires an extremely large number of parameters to support full prediction, which greatly hinders its adoption in practice. To address this limitation, we propose LoGAH (Low-rank GrAph Hypernetworks), a GHN with a low-rank parameter decoder that expands to significantly wider networks without requiring as excessive increase of parameters as in previous attempts. LoGAH allows us to predict the parameters of 774-million large neural networks in a memory-efficient manner. We show that vision and language models (i.e., ViT and GPT-2) initialized with LoGAH achieve better performance than those initialized randomly or using existing hypernetworks. Furthermore, we show promising transfer learning results w.r.t. training LoGAH on small datasets and using the predicted parameters to initialize for larger tasks. We provide the codes in https://github.com/Blackzxy/LoGAH .