MUDDFormer: Het doorbreken van resterende knelpunten in Transformers via multiway dynamische dichte verbindingen

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Auteurs: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Samenvatting

We stellen MUltiway Dynamic Dense (MUDD) connecties voor, een eenvoudige maar effectieve methode om de beperkingen van residuconnecties aan te pakken en de informatieoverdracht tussen lagen in Transformers te verbeteren. In tegenstelling tot bestaande dense connectiebenaderingen met statische en gedeelde verbindingsgewichten, genereert MUDD verbindingsgewichten dynamisch, afhankelijk van de verborgen toestanden op elke sequentiepositie en voor elke ontkoppelde invoerstroom (de query, key, value of residu) van een Transformer-blok. MUDD-connecties kunnen naadloos worden geïntegreerd in elke Transformer-architectuur om MUDDFormer te creëren. Uitgebreide experimenten tonen aan dat MUDDFormer Transformers aanzienlijk overtreft in verschillende modelarchitecturen en schalen bij taalmodelering, waarbij het de prestaties bereikt van Transformers die zijn getraind met 1,8X-2,4X rekenkracht. Opmerkelijk is dat MUDDPythia-2.8B Pythia-6.9B evenaart in pretraining ppl en downstream taken en zelfs Pythia-12B benadert in five-shot instellingen, terwijl slechts 0,23% parameters en 0,4% rekenkracht worden toegevoegd. Code in JAX en PyTorch en vooraf getrainde modellen zijn beschikbaar op https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .