MUDDFormer: Superando Cuellos de Botella Residuales en Transformers mediante Conexiones Dinámicas Densas Multivía

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Autores: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Resumen

Proponemos las conexiones MUltiway Dynamic Dense (MUDD), un método simple pero efectivo para abordar las limitaciones de las conexiones residuales y mejorar el flujo de información entre capas en los Transformers. A diferencia de los enfoques existentes de conexiones densas con pesos estáticos y compartidos, MUDD genera pesos de conexión de manera dinámica según los estados ocultos en cada posición de la secuencia y para cada flujo de entrada desacoplado (la consulta, clave, valor o residual) de un bloque Transformer. Las conexiones MUDD pueden integrarse sin problemas en cualquier arquitectura Transformer para crear MUDDFormer. Experimentos exhaustivos muestran que MUDDFormer supera significativamente a los Transformers en diversas arquitecturas y escalas de modelos en tareas de modelado de lenguaje, alcanzando el rendimiento de Transformers entrenados con 1.8X-2.4X de recursos computacionales. Notablemente, MUDDPythia-2.8B iguala a Pythia-6.9B en perplexity de preentrenamiento y tareas posteriores, e incluso rivaliza con Pythia-12B en configuraciones de cinco ejemplos, mientras añade solo un 0.23% de parámetros y un 0.4% de cómputo. El código en JAX y PyTorch, junto con los modelos preentrenados, están disponibles en https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .