TransformerFAM: Обратная связь внимания - это рабочая память.

TransformerFAM: Feedback attention is working memory

April 14, 2024

Авторы: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

Аннотация

Хотя Трансформеры революционизировали глубокое обучение, их квадратичная сложность внимания мешает им обрабатывать бесконечно длинные входы. Мы предлагаем модель Обратной Связи с Памятью (Feedback Attention Memory, FAM), новую архитектуру Трансформера, которая использует обратную связь для того, чтобы сеть могла обращаться к своим собственным латентным представлениям. Этот дизайн способствует появлению рабочей памяти в Трансформере, позволяя ему обрабатывать бесконечно длинные последовательности. ТрансформерFAM не требует дополнительных весов, обеспечивая беспрепятственную интеграцию с предварительно обученными моделями. Наши эксперименты показывают, что ТрансформерFAM значительно улучшает производительность Трансформера на задачах с длинным контекстом при различных размерах моделей (1B, 8B и 24B). Эти результаты демонстрируют потенциал для усиления Больших Языковых Моделей (Large Language Models, LLM) в обработке последовательностей неограниченной длины.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.