Assoziativer Rekurrenter Gedächtnis-Transformer

papers.abstract

Dieses Papier behandelt die Herausforderung, eine neuronale Architektur für sehr lange Sequenzen zu erstellen, die für die Verarbeitung neuer Informationen bei jedem Zeitschritt konstante Zeit erfordert. Unser Ansatz, der Assoziative Rekurrente Gedächtnis-Transformer (ARMT), basiert auf Transformer-Selbstaufmerksamkeit für den lokalen Kontext und Segmentebene-Rekurrenz für die Speicherung von aufgabenbezogenen Informationen, die über einen langen Kontext verteilt sind. Wir zeigen, dass ARMT bestehende Alternativen in assoziativen Abrufaufgaben übertrifft und im kürzlich veröffentlichten BABILong Multi-Task Long-Context Benchmark einen neuen Leistungsrekord setzt, indem er Einzelfakt-Fragen über 50 Millionen Tokens mit einer Genauigkeit von 79,9% beantwortet. Der Quellcode für Training und Evaluation ist auf GitHub verfügbar.

English

This paper addresses the challenge of creating a neural architecture for very long sequences that requires constant time for processing new information at each time step. Our approach, Associative Recurrent Memory Transformer (ARMT), is based on transformer self-attention for local context and segment-level recurrence for storage of task specific information distributed over a long context. We demonstrate that ARMT outperfors existing alternatives in associative retrieval tasks and sets a new performance record in the recent BABILong multi-task long-context benchmark by answering single-fact questions over 50 million tokens with an accuracy of 79.9%. The source code for training and evaluation is available on github.