MUDDFormer: Преодоление остаточных узких мест в трансформерах с помощью многосторонних динамических плотных соединений

MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections

February 13, 2025

Авторы: Da Xiao, Qingye Meng, Shengping Li, Xingyuan Yuan

cs.AI

Аннотация

Мы предлагаем MUltiway Dynamic Dense (MUDD) соединения — простой, но эффективный метод для устранения ограничений остаточных соединений и улучшения кросс-слоевого потока информации в Transformers. В отличие от существующих подходов с плотными соединениями, использующих статические и общие веса соединений, MUDD динамически генерирует веса соединений в зависимости от скрытых состояний на каждой позиции последовательности и для каждого разделенного входного потока (запроса, ключа, значения или остатка) блока Transformer. MUDD соединения могут быть легко интегрированы в любую архитектуру Transformer для создания MUDDFormer. Многочисленные эксперименты показывают, что MUDDFormer значительно превосходит Transformers в различных архитектурах и масштабах моделей для задач языкового моделирования, достигая производительности Transformers, обученных с использованием в 1.8–2.4 раза больше вычислительных ресурсов. В частности, MUDDPythia-2.8B соответствует Pythia-6.9B по показателю perplexity (ppl) на этапе предобучения и на задачах downstream, а в условиях few-shot (пять примеров) даже приближается к Pythia-12B, добавляя при этом всего 0.23% параметров и 0.4% вычислений. Код на JAX и PyTorch, а также предобученные модели доступны по адресу https://github.com/Caiyun-AI/MUDDFormer.

English

We propose MUltiway Dynamic Dense (MUDD) connections, a simple yet effective method to address the limitations of residual connections and enhance cross-layer information flow in Transformers. Unlike existing dense connection approaches with static and shared connection weights, MUDD generates connection weights dynamically depending on hidden states at each sequence position and for each decoupled input stream (the query, key, value or residual) of a Transformer block. MUDD connections can be seamlessly integrated into any Transformer architecture to create MUDDFormer. Extensive experiments show that MUDDFormer significantly outperforms Transformers across various model architectures and scales in language modeling, achieving the performance of Transformers trained with 1.8X-2.4X compute. Notably, MUDDPythia-2.8B matches Pythia-6.9B in pretraining ppl and downstream tasks and even rivals Pythia-12B in five-shot settings, while adding only 0.23% parameters and 0.4% computation. Code in JAX and PyTorch and pre-trained models are available at https://github.com/Caiyun-AI/MUDDFormer .