LoGAH: 1/100 파라미터로 그래프 하이퍼네트워크를 사용하여 7억 7천만 파라미터 트랜스포머 예측하기

LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

May 25, 2024

저자: Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu

cs.AI

초록

딥러닝 모델의 좋은 초기화는 모델이 더 나은 수렴과 빠른 학습을 가능하게 하므로 필수적입니다. 그러나 대규모 모델의 사전 학습은 많은 연구자들에게 부담스러운 작업이며, 이로 인해 초기 매개변수에 대한 예측이 더욱 필요해졌습니다. 모델 매개변수를 예측하는 접근법 중 하나인 그래프 하이퍼네트워크(GHNs)는 최근 대규모 비전 모델 초기화에서 강력한 성능을 보여주었습니다. 그러나 매우 넓은 네트워크의 매개변수를 예측할 때는 작은 매개변수 덩어리를 여러 번 복사해야 하며, 완전한 예측을 지원하기 위해 지나치게 많은 매개변수가 필요하여 실제 적용에 큰 장애가 되었습니다. 이러한 한계를 해결하기 위해, 우리는 LoGAH(Low-rank GrAph Hypernetworks)를 제안합니다. LoGAH은 낮은 랭크(low-rank) 매개변수 디코더를 갖춘 GHN으로, 이전 시도들보다 훨씬 적은 매개변수 증가로도 더 넓은 네트워크로 확장할 수 있습니다. LoGAH을 통해 7억 7천 4백만 개의 대규모 신경망 매개변수를 메모리 효율적으로 예측할 수 있습니다. 우리는 LoGAH로 초기화된 비전 및 언어 모델(예: ViT 및 GPT-2)이 무작위 초기화나 기존 하이퍼네트워크를 사용한 초기화보다 더 나은 성능을 달성함을 보여줍니다. 또한, 작은 데이터셋에서 LoGAH을 학습하고 예측된 매개변수를 더 큰 작업의 초기화에 사용할 때 유망한 전이 학습 결과를 보여줍니다. 코드는 https://github.com/Blackzxy/LoGAH에서 제공됩니다.

English

A good initialization of deep learning models is essential since it can help them converge better and faster. However, pretraining large models is unaffordable for many researchers, which makes a desired prediction for initial parameters more necessary nowadays. Graph HyperNetworks (GHNs), one approach to predicting model parameters, have recently shown strong performance in initializing large vision models. Unfortunately, predicting parameters of very wide networks relies on copying small chunks of parameters multiple times and requires an extremely large number of parameters to support full prediction, which greatly hinders its adoption in practice. To address this limitation, we propose LoGAH (Low-rank GrAph Hypernetworks), a GHN with a low-rank parameter decoder that expands to significantly wider networks without requiring as excessive increase of parameters as in previous attempts. LoGAH allows us to predict the parameters of 774-million large neural networks in a memory-efficient manner. We show that vision and language models (i.e., ViT and GPT-2) initialized with LoGAH achieve better performance than those initialized randomly or using existing hypernetworks. Furthermore, we show promising transfer learning results w.r.t. training LoGAH on small datasets and using the predicted parameters to initialize for larger tasks. We provide the codes in https://github.com/Blackzxy/LoGAH .