TransformerFAM: Feedback-attentie functioneert als werkgeheugen

TransformerFAM: Feedback attention is working memory

April 14, 2024

Auteurs: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

Samenvatting

Hoewel Transformers een revolutie teweeg hebben gebracht in deep learning, belemmert hun kwadratische aandachtcomplexiteit hun vermogen om oneindig lange invoer te verwerken. Wij stellen Feedback Attention Memory (FAM) voor, een nieuwe Transformer-architectuur die gebruikmaakt van een feedbacklus om het netwerk in staat te stellen zijn eigen latente representaties te benaderen. Dit ontwerp bevordert het ontstaan van werkgeheugen binnen de Transformer, waardoor deze oneindig lange sequenties kan verwerken. TransformerFAM vereist geen extra gewichten, wat een naadloze integratie met vooraf getrainde modellen mogelijk maakt. Onze experimenten tonen aan dat TransformerFAM de prestaties van Transformers aanzienlijk verbetert bij taken met lange contexten, over verschillende modelgroottes (1B, 8B en 24B). Deze resultaten laten het potentieel zien om Large Language Models (LLMs) in staat te stellen sequenties van onbeperkte lengte te verwerken.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.