Transformeur à Mémoire Associative Récurrente

Associative Recurrent Memory Transformer

July 5, 2024

Auteurs: Ivan Rodkin, Yuri Kuratov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Résumé

Cet article aborde le défi de créer une architecture neuronale pour des séquences très longues qui nécessite un temps constant pour traiter de nouvelles informations à chaque étape temporelle. Notre approche, le Transformer à Mémoire Récurrente Associative (ARMT), repose sur l'auto-attention des transformers pour le contexte local et sur la récurrence au niveau des segments pour le stockage d'informations spécifiques à la tâche réparties sur un long contexte. Nous démontrons qu'ARMT surpasse les alternatives existantes dans les tâches de récupération associative et établit un nouveau record de performance sur le récent benchmark multi-tâches BABILong pour les contextes longs, en répondant à des questions à un seul fait sur plus de 50 millions de tokens avec une précision de 79,9%. Le code source pour l'entraînement et l'évaluation est disponible sur github.

English

This paper addresses the challenge of creating a neural architecture for very long sequences that requires constant time for processing new information at each time step. Our approach, Associative Recurrent Memory Transformer (ARMT), is based on transformer self-attention for local context and segment-level recurrence for storage of task specific information distributed over a long context. We demonstrate that ARMT outperfors existing alternatives in associative retrieval tasks and sets a new performance record in the recent BABILong multi-task long-context benchmark by answering single-fact questions over 50 million tokens with an accuracy of 79.9%. The source code for training and evaluation is available on github.