MUDDFormer: Superare i Colli di Bottiglia Residui nei Transformer tramite Connessioni Dense Dinamiche Multi-via

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Autori: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Abstract

Proponiamo le connessioni MUltiway Dynamic Dense (MUDD), un metodo semplice ma efficace per affrontare i limiti delle connessioni residue e migliorare il flusso di informazioni tra i livelli nei Transformer. A differenza degli approcci esistenti con connessioni dense che utilizzano pesi statici e condivisi, MUDD genera pesi di connessione in modo dinamico in base agli stati nascosti in ciascuna posizione della sequenza e per ciascun flusso di input separato (query, chiave, valore o residuo) di un blocco Transformer. Le connessioni MUDD possono essere integrate senza soluzione di continuità in qualsiasi architettura Transformer per creare il MUDDFormer. Esperimenti estesi dimostrano che MUDDFormer supera significativamente i Transformer in varie architetture e scale di modelli nel campo del language modeling, raggiungendo le prestazioni di Transformer addestrati con un calcolo 1,8X-2,4X superiore. In particolare, MUDDPythia-2.8B eguaglia Pythia-6.9B in termini di ppl durante il pre-training e nei task downstream, e rivaleggia persino con Pythia-12B in contesti few-shot, aggiungendo solo lo 0,23% di parametri e lo 0,4% di calcolo. Il codice in JAX e PyTorch e i modelli pre-addestrati sono disponibili all'indirizzo https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .