TransformerFAM : L'attention par rétroaction comme mémoire de travail

TransformerFAM: Feedback attention is working memory

April 14, 2024

Auteurs: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

Résumé

Alors que les Transformers ont révolutionné l'apprentissage profond, leur complexité d'attention quadratique limite leur capacité à traiter des entrées de longueur infinie. Nous proposons Feedback Attention Memory (FAM), une nouvelle architecture de Transformer qui exploite une boucle de rétroaction pour permettre au réseau de prêter attention à ses propres représentations latentes. Cette conception favorise l'émergence d'une mémoire de travail au sein du Transformer, lui permettant de traiter des séquences de longueur indéfinie. TransformerFAM ne nécessite aucun poids supplémentaire, permettant une intégration transparente avec des modèles pré-entraînés. Nos expériences montrent que TransformerFAM améliore significativement les performances des Transformers sur des tâches à contexte long, et ce pour différentes tailles de modèles (1B, 8B et 24B). Ces résultats démontrent le potentiel de permettre aux grands modèles de langage (LLMs) de traiter des séquences de longueur illimitée.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.