LoGAH: Predicción de Transformers de 774 Millones de Parámetros utilizando HiperRedes de Grafos con 1/100 de los Parámetros

LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

May 25, 2024

Autores: Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu

cs.AI

Resumen

Una buena inicialización de los modelos de aprendizaje profundo es esencial, ya que puede ayudarles a converger mejor y más rápido. Sin embargo, el preentrenamiento de modelos grandes es inaccesible para muchos investigadores, lo que hace que una predicción deseada de los parámetros iniciales sea más necesaria en la actualidad. Las Graph HyperNetworks (GHNs), un enfoque para predecir los parámetros de los modelos, han mostrado recientemente un fuerte rendimiento en la inicialización de modelos de visión grandes. Desafortunadamente, predecir los parámetros de redes muy anchas se basa en copiar pequeños fragmentos de parámetros múltiples veces y requiere un número extremadamente grande de parámetros para soportar la predicción completa, lo que dificulta enormemente su adopción en la práctica. Para abordar esta limitación, proponemos LoGAH (Low-rank GrAph Hypernetworks), una GHN con un decodificador de parámetros de bajo rango que se expande a redes significativamente más anchas sin requerir un aumento excesivo de parámetros como en intentos anteriores. LoGAH nos permite predecir los parámetros de redes neuronales grandes de 774 millones de una manera eficiente en memoria. Mostramos que los modelos de visión y lenguaje (es decir, ViT y GPT-2) inicializados con LoGAH logran un mejor rendimiento que aquellos inicializados aleatoriamente o utilizando hiperredes existentes. Además, mostramos resultados prometedores en transfer learning al entrenar LoGAH en conjuntos de datos pequeños y usar los parámetros predichos para inicializar tareas más grandes. Proporcionamos los códigos en https://github.com/Blackzxy/LoGAH.

English

A good initialization of deep learning models is essential since it can help them converge better and faster. However, pretraining large models is unaffordable for many researchers, which makes a desired prediction for initial parameters more necessary nowadays. Graph HyperNetworks (GHNs), one approach to predicting model parameters, have recently shown strong performance in initializing large vision models. Unfortunately, predicting parameters of very wide networks relies on copying small chunks of parameters multiple times and requires an extremely large number of parameters to support full prediction, which greatly hinders its adoption in practice. To address this limitation, we propose LoGAH (Low-rank GrAph Hypernetworks), a GHN with a low-rank parameter decoder that expands to significantly wider networks without requiring as excessive increase of parameters as in previous attempts. LoGAH allows us to predict the parameters of 774-million large neural networks in a memory-efficient manner. We show that vision and language models (i.e., ViT and GPT-2) initialized with LoGAH achieve better performance than those initialized randomly or using existing hypernetworks. Furthermore, we show promising transfer learning results w.r.t. training LoGAH on small datasets and using the predicted parameters to initialize for larger tasks. We provide the codes in https://github.com/Blackzxy/LoGAH .