キャッシュド・トランスフォーマー：微分可能メモリによるトランスフォーマーの改善 キャッシュ

Cached Transformers: Improving Transformers with Differentiable Memory Cache

December 20, 2023

著者: Zhaoyang Zhang, Wenqi Shao, Yixiao Ge, Xiaogang Wang, Jinwei Gu, Ping Luo

cs.AI

要旨

本研究では、Cached Transformerと呼ばれる新しいTransformerモデルを提案します。このモデルは、Gated Recurrent Cached（GRC）アテンションを用いて、自己注意機構を拡張し、トークンの微分可能なメモリキャッシュを導入します。GRCアテンションにより、過去と現在のトークンの両方に注意を向けることが可能となり、注意の受容野が拡大し、長距離依存性の探索が可能になります。再帰的なゲーティングユニットを利用してキャッシュを継続的に更新することで、我々のモデルは、言語モデリング、機械翻訳、ListOPs、画像分類、物体検出、インスタンスセグメンテーションといった6つの言語および視覚タスクにおいて、重要な進展を達成しました。さらに、我々のアプローチは、言語モデリングなどのタスクにおいて、従来のメモリベースの技術を凌駕し、より広範な状況に適用可能な能力を示しています。

English

This work introduces a new Transformer model called Cached Transformer, which uses Gated Recurrent Cached (GRC) attention to extend the self-attention mechanism with a differentiable memory cache of tokens. GRC attention enables attending to both past and current tokens, increasing the receptive field of attention and allowing for exploring long-range dependencies. By utilizing a recurrent gating unit to continuously update the cache, our model achieves significant advancements in six language and vision tasks, including language modeling, machine translation, ListOPs, image classification, object detection, and instance segmentation. Furthermore, our approach surpasses previous memory-based techniques in tasks such as language modeling and displays the ability to be applied to a broader range of situations.