Hyper-Connexions

Hyper-Connections

September 29, 2024

Auteurs: Defa Zhu, Hongzhi Huang, Zihao Huang, Yutao Zeng, Yunyao Mao, Banggu Wu, Qiyang Min, Xun Zhou

cs.AI

Résumé

Nous présentons les hyper-connexions, une méthode simple mais efficace qui peut servir comme une alternative aux connexions résiduelles. Cette approche adresse spécifiquement les inconvénients courants observés dans les variantes de connexions résiduelles, tels que l'effet de balancier entre la disparition du gradient et l'effondrement de la représentation. Théoriquement, les hyper-connexions permettent au réseau d'ajuster la force des connexions entre les caractéristiques à différentes profondeurs et de réarranger dynamiquement les couches. Nous menons des expériences en mettant l'accent sur la pré-formation de grands modèles de langage, y compris des modèles denses et épars, où les hyper-connexions montrent des améliorations de performance significatives par rapport aux connexions résiduelles. Des expériences supplémentaires menées sur des tâches de vision démontrent également des améliorations similaires. Nous anticipons que cette méthode sera largement applicable et bénéfique dans un large éventail de problèmes en IA.

English

We present hyper-connections, a simple yet effective method that can serve as an alternative to residual connections. This approach specifically addresses common drawbacks observed in residual connection variants, such as the seesaw effect between gradient vanishing and representation collapse. Theoretically, hyper-connections allow the network to adjust the strength of connections between features at different depths and dynamically rearrange layers. We conduct experiments focusing on the pre-training of large language models, including dense and sparse models, where hyper-connections show significant performance improvements over residual connections. Additional experiments conducted on vision tasks also demonstrate similar improvements. We anticipate that this method will be broadly applicable and beneficial across a wide range of AI problems.