MUDDFormer: Superando Gargalos Residuais em Transformers por meio de Conexões Densas Dinâmicas Multivias

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Autores: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Resumo

Propomos as conexões MUltiway Dynamic Dense (MUDD), um método simples, porém eficaz, para abordar as limitações das conexões residuais e melhorar o fluxo de informações entre camadas em Transformers. Diferente das abordagens existentes de conexões densas com pesos de conexão estáticos e compartilhados, o MUDD gera pesos de conexão dinamicamente, dependendo dos estados ocultos em cada posição da sequência e para cada fluxo de entrada desacoplado (a consulta, chave, valor ou residual) de um bloco Transformer. As conexões MUDD podem ser integradas de forma contínua em qualquer arquitetura Transformer para criar o MUDDFormer. Experimentos extensivos mostram que o MUDDFormer supera significativamente os Transformers em várias arquiteturas e escalas de modelos na modelagem de linguagem, alcançando o desempenho de Transformers treinados com 1,8X-2,4X de computação. Notavelmente, o MUDDPythia-2.8B iguala o Pythia-6.9B em perplexidade (ppl) de pré-treinamento e tarefas subsequentes e até rivaliza com o Pythia-12B em configurações de cinco exemplos, enquanto adiciona apenas 0,23% de parâmetros e 0,4% de computação. Códigos em JAX e PyTorch e modelos pré-treinados estão disponíveis em https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .