Maglev: スライディング再帰メモリ

要旨

我々は、固定サイズメモリを有し、スライディングウィンドウアテンションを一般化しつつ訓練中も並列化可能なリカレントTransformerアーキテクチャである[モデル名]を導入する。[モデル名]は、二つの結合モデルから構成される。すなわち、フルアテンションを利用してメモリターゲットm'_tを生成するプリフィラーQ（実際には、Qに対してはフルアテンションとスライディングウィンドウアテンションを交互に使用する。これにより、より高い性能が得られる。本質的な要件は、QがPよりも表現力が高く、完全な履歴にアクセスできることである）と、スライディングウィンドウアテンションとリカレントなK/V注入のみを使用して、次トークン予測のためのデコーダメモリm_tを生成するデコーダPである。我々は、m_tをm'_tに整合させるメモリ一貫性損失を用いて[モデル名]を訓練し、推論時にはPのみを使用できるようにする。経験的に、[モデル名]は、スライディングウィンドウおよび潜在リカレントTransformerベースラインと比較して、検証損失と下流の事前学習ベンチマークを改善する。さらに、PとQとの間でパラメータを共有することで、パラメータメモリを削減しつつ、利得の大部分を維持できる。

English

We introduce , a recurrent Transformer architecture with fixed-size memory that generalizes sliding-window attention while remaining parallelizable during training. consists of two coupled models: a prefiller Q, which leverages full attentionIn practice, we use interleaved full and sliding-window attention for Q, as this yields stronger performance. The essential requirement is that Q be more expressive than P, with access to the full history. to produce memory targets m'_t, and a decoder P, which uses only sliding-window attention and recurrent K/V injection to produce decoder memories m_t for next-token prediction. We train with a memory consistency loss that aligns m_t with m'_t, allowing inference to use P alone. Empirically, improves validation loss and downstream pretraining benchmarks over sliding-window and latent recurrent transformer baselines. Moreover, sharing parameters between P and Q reduces parameter memory while preserving most of the gains.