TransformerFAM: La atención por retroalimentación es memoria de trabajo

TransformerFAM: Feedback attention is working memory

April 14, 2024

Autores: Dongseong Hwang, Weiran Wang, Zhuoyuan Huo, Khe Chai Sim, Pedro Moreno Mengibar

cs.AI

Resumen

Si bien los Transformers han revolucionado el aprendizaje profundo, su complejidad cuadrática de atención limita su capacidad para procesar entradas de longitud infinita. Proponemos Feedback Attention Memory (FAM), una arquitectura novedosa de Transformer que aprovecha un bucle de retroalimentación para permitir que la red atienda a sus propias representaciones latentes. Este diseño fomenta la aparición de memoria de trabajo dentro del Transformer, permitiéndole procesar secuencias de longitud indefinida. TransformerFAM no requiere pesos adicionales, lo que permite una integración perfecta con modelos preentrenados. Nuestros experimentos muestran que TransformerFAM mejora significativamente el rendimiento de los Transformers en tareas de contexto largo en varios tamaños de modelos (1B, 8B y 24B). Estos resultados demuestran el potencial para capacitar a los Modelos de Lenguaje de Gran Escala (LLMs) para procesar secuencias de longitud ilimitada.

English

While Transformers have revolutionized deep learning, their quadratic attention complexity hinders their ability to process infinitely long inputs. We propose Feedback Attention Memory (FAM), a novel Transformer architecture that leverages a feedback loop to enable the network to attend to its own latent representations. This design fosters the emergence of working memory within the Transformer, allowing it to process indefinitely long sequences. TransformerFAM requires no additional weights, enabling seamless integration with pre-trained models. Our experiments show that TransformerFAM significantly improves Transformer performance on long-context tasks across various model sizes (1B, 8B, and 24B). These results showcase the potential to empower Large Language Models (LLMs) to process sequences of unlimited length.