MUDDFormer : Surmonter les goulets d'étranglement résiduels dans les Transformers grâce à des connexions denses dynamiques multi-voies

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Auteurs: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Résumé

Nous proposons les connexions MUltiway Dynamic Dense (MUDD), une méthode simple mais efficace pour pallier les limitations des connexions résiduelles et améliorer le flux d'information inter-couches dans les Transformers. Contrairement aux approches existantes de connexions denses avec des poids de connexion statiques et partagés, MUDD génère des poids de connexion de manière dynamique en fonction des états cachés à chaque position de la séquence et pour chaque flux d'entrée découplé (la requête, la clé, la valeur ou le résiduel) d'un bloc Transformer. Les connexions MUDD peuvent être intégrées de manière transparente dans toute architecture Transformer pour créer le MUDDFormer. Des expériences approfondies montrent que le MUDDFormer surpasse significativement les Transformers sur diverses architectures et échelles de modèles en modélisation du langage, atteignant les performances de Transformers entraînés avec 1,8X à 2,4X plus de calcul. Notamment, le MUDDPythia-2.8B égalise le Pythia-6.9B en perplexité de pré-entraînement et en tâches en aval, et rivalise même avec le Pythia-12B dans des configurations à cinq essais, tout en ajoutant seulement 0,23 % de paramètres et 0,4 % de calcul. Le code en JAX et PyTorch ainsi que les modèles pré-entraînés sont disponibles à l'adresse https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .