TransformerFAM: L'attenzione a feedback è memoria di lavoro

Abstract

Sebbene i Transformer abbiano rivoluzionato il deep learning, la loro complessità quadratica dell'attenzione ne limita la capacità di elaborare input di lunghezza infinita. Proponiamo Feedback Attention Memory (FAM), una nuova architettura Transformer che sfrutta un ciclo di feedback per consentire alla rete di prestare attenzione alle proprie rappresentazioni latenti. Questo design favorisce l'emergere di una memoria di lavoro all'interno del Transformer, permettendogli di elaborare sequenze di lunghezza indefinita. TransformerFAM non richiede pesi aggiuntivi, consentendo un'integrazione senza soluzione di continuità con modelli pre-addestrati. I nostri esperimenti dimostrano che TransformerFAM migliora significativamente le prestazioni dei Transformer su compiti a contesto lungo, indipendentemente dalle dimensioni del modello (1B, 8B e 24B). Questi risultati evidenziano il potenziale di potenziare i Large Language Models (LLM) per elaborare sequenze di lunghezza illimitata.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.

TransformerFAM: L'attenzione a feedback è memoria di lavoro

TransformerFAM: Feedback attention is working memory

Abstract

Support