Transformador de Memória Recorrente Associativa

Resumo

Este artigo aborda o desafio de criar uma arquitetura neural para sequências muito longas que requer tempo constante para processar novas informações a cada passo de tempo. Nossa abordagem, Transformador de Memória Recorrente Associativa (ARMT), é baseada em autoatenção do transformer para contexto local e recorrência em nível de segmento para armazenamento de informações específicas da tarefa distribuídas ao longo de um contexto longo. Demonstramos que o ARMT supera as alternativas existentes em tarefas de recuperação associativa e estabelece um novo recorde de desempenho no recente benchmark multi-tarefa de longo contexto BABILong, respondendo a perguntas de único fato sobre mais de 50 milhões de tokens com uma precisão de 79,9%. O código-fonte para treinamento e avaliação está disponível no github.

English

This paper addresses the challenge of creating a neural architecture for very long sequences that requires constant time for processing new information at each time step. Our approach, Associative Recurrent Memory Transformer (ARMT), is based on transformer self-attention for local context and segment-level recurrence for storage of task specific information distributed over a long context. We demonstrate that ARMT outperfors existing alternatives in associative retrieval tasks and sets a new performance record in the recent BABILong multi-task long-context benchmark by answering single-fact questions over 50 million tokens with an accuracy of 79.9%. The source code for training and evaluation is available on github.