連想リカレントメモリートランスフォーマー

Associative Recurrent Memory Transformer

July 5, 2024

著者: Ivan Rodkin, Yuri Kuratov, Aydar Bulatov, Mikhail Burtsev

cs.AI

要旨

本論文は、各タイムステップで新たな情報を処理する際に一定時間を要する、非常に長いシーケンス向けのニューラルアーキテクチャの構築という課題に取り組む。我々のアプローチであるAssociative Recurrent Memory Transformer (ARMT)は、ローカルコンテキストのためのTransformerの自己注意機構と、長いコンテキストに分散されたタスク固有情報を保存するためのセグメントレベル再帰に基づいている。ARMTが連想検索タスクにおいて既存の手法を上回り、最近のBABILongマルチタスク長文コンテキストベンチマークにおいて、5000万トークンにわたる単一事実質問に79.9%の精度で答えることで新たな性能記録を樹立したことを示す。トレーニングと評価のためのソースコードはGitHubで公開されている。

English

This paper addresses the challenge of creating a neural architecture for very long sequences that requires constant time for processing new information at each time step. Our approach, Associative Recurrent Memory Transformer (ARMT), is based on transformer self-attention for local context and segment-level recurrence for storage of task specific information distributed over a long context. We demonstrate that ARMT outperfors existing alternatives in associative retrieval tasks and sets a new performance record in the recent BABILong multi-task long-context benchmark by answering single-fact questions over 50 million tokens with an accuracy of 79.9%. The source code for training and evaluation is available on github.