MUDDFormer: Überwindung residualer Engpässe in Transformatoren durch mehrwegige dynamische dichte Verbindungen

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Autoren: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Zusammenfassung

Wir schlagen MUltiway Dynamic Dense (MUDD) Verbindungen vor, eine einfache, aber effektive Methode, um die Einschränkungen von Residualverbindungen zu adressieren und den Informationsfluss zwischen den Schichten in Transformern zu verbessern. Im Gegensatz zu bestehenden Dense-Verbindungsansätzen mit statischen und gemeinsamen Verbindungsgewichten generiert MUDD Verbindungsgewichte dynamisch, abhängig von den verborgenen Zuständen an jeder Sequenzposition und für jeden entkoppelten Eingabestrom (die Abfrage, den Schlüssel, den Wert oder den Rest) eines Transformer-Blocks. MUDD-Verbindungen können nahtlos in jede Transformer-Architektur integriert werden, um MUDDFormer zu erstellen. Umfangreiche Experimente zeigen, dass MUDDFormer Transformers in verschiedenen Modellarchitekturen und -skalen beim Sprachmodellierung deutlich übertrifft und die Leistung von Transformers erreicht, die mit 1,8X-2,4X Rechenleistung trainiert wurden. Insbesondere erreicht MUDDPythia-2.8B Pythia-6.9B im Pretraining ppl und in nachgelagerten Aufgaben und kann sogar Pythia-12B in Five-Shot-Szenarien konkurrieren, während nur 0,23% zusätzliche Parameter und 0,4% zusätzliche Berechnung hinzugefügt werden. Code in JAX und PyTorch sowie vortrainierte Modelle sind unter https://github.com/Caiyun-AI/MUDDFormer verfügbar.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .