TransformerFAM: Feedback-Aufmerksamkeit ist Arbeitsgedächtnis.

TransformerFAM: Feedback attention is working memory

April 14, 2024

Autoren: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

Zusammenfassung

Obwohl Transformers das Deep Learning revolutioniert haben, beeinträchtigt ihre quadratische Aufmerksamkeitskomplexität ihre Fähigkeit, unendlich lange Eingaben zu verarbeiten. Wir schlagen Feedback Attention Memory (FAM) vor, eine neuartige Transformer-Architektur, die eine Rückkopplungsschleife nutzt, um dem Netzwerk zu ermöglichen, auf seine eigenen latenten Repräsentationen zu achten. Dieses Design fördert das Entstehen von Arbeitsgedächtnis innerhalb des Transformers, was es ihm ermöglicht, unendlich lange Sequenzen zu verarbeiten. TransformerFAM erfordert keine zusätzlichen Gewichte und ermöglicht eine nahtlose Integration mit vortrainierten Modellen. Unsere Experimente zeigen, dass TransformerFAM die Leistung des Transformers bei Aufgaben mit langem Kontext bei verschiedenen Modellgrößen (1B, 8B und 24B) signifikant verbessert. Diese Ergebnisse zeigen das Potenzial, große Sprachmodelle (LLMs) zu befähigen, Sequenzen beliebiger Länge zu verarbeiten.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.