LoGAH: Прогнозирование трансформеров с 774 миллионами параметров с использованием гиперсетей графов с 1/100 параметров.

LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

May 25, 2024

Авторы: Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu

cs.AI

Аннотация

Хорошая инициализация моделей глубокого обучения необходима, поскольку она может помочь им сходиться лучше и быстрее. Однако предварительное обучение больших моделей недоступно для многих исследователей, что делает желательным предсказание начальных параметров в настоящее время. Графовые гиперсети (GHN), один из подходов к предсказанию параметров модели, недавно продемонстрировали высокую производительность при инициализации больших моделей компьютерного зрения. К сожалению, предсказание параметров очень широких сетей основано на копировании небольших фрагментов параметров несколько раз и требует чрезвычайно большого количества параметров для поддержки полного предсказания, что значительно затрудняет его применение на практике. Для преодоления этого ограничения мы предлагаем LoGAH (Low-rank GrAph Hypernetworks), GHN с декодером параметров низкого ранга, который позволяет значительно увеличить ширину сетей без необходимости чрезмерного увеличения параметров, как в предыдущих попытках. LoGAH позволяет нам предсказывать параметры 774-миллионных крупных нейронных сетей в память-эффективном режиме. Мы показываем, что модели компьютерного зрения и языка (т.е. ViT и GPT-2), инициализированные с помощью LoGAH, достигают лучшей производительности, чем те, которые были инициализированы случайным образом или с использованием существующих гиперсетей. Более того, мы демонстрируем многообещающие результаты обучения передачи знаний относительно обучения LoGAH на небольших наборах данных и использования предсказанных параметров для инициализации более крупных задач. Мы предоставляем коды на https://github.com/Blackzxy/LoGAH.

English

A good initialization of deep learning models is essential since it can help them converge better and faster. However, pretraining large models is unaffordable for many researchers, which makes a desired prediction for initial parameters more necessary nowadays. Graph HyperNetworks (GHNs), one approach to predicting model parameters, have recently shown strong performance in initializing large vision models. Unfortunately, predicting parameters of very wide networks relies on copying small chunks of parameters multiple times and requires an extremely large number of parameters to support full prediction, which greatly hinders its adoption in practice. To address this limitation, we propose LoGAH (Low-rank GrAph Hypernetworks), a GHN with a low-rank parameter decoder that expands to significantly wider networks without requiring as excessive increase of parameters as in previous attempts. LoGAH allows us to predict the parameters of 774-million large neural networks in a memory-efficient manner. We show that vision and language models (i.e., ViT and GPT-2) initialized with LoGAH achieve better performance than those initialized randomly or using existing hypernetworks. Furthermore, we show promising transfer learning results w.r.t. training LoGAH on small datasets and using the predicted parameters to initialize for larger tasks. We provide the codes in https://github.com/Blackzxy/LoGAH .