RMT: リテンションネットワークとビジョントランスフォーマーの融合

RMT: Retentive Networks Meet Vision Transformers

September 20, 2023

著者: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He

cs.AI

要旨

Transformerは最初、自然言語処理分野で登場し、その後コンピュータビジョン領域に移行し、視覚タスクで優れた性能を発揮しました。しかし、最近ではRetentive Network（RetNet）がTransformerに取って代わる可能性を秘めたアーキテクチャとして登場し、NLPコミュニティで広く注目を集めています。そこで、RetNetのアイデアを視覚領域に転用することで、視覚タスクでも優れた性能を発揮できるかどうかという疑問が生じます。この疑問に答えるため、私たちはRetNetとTransformerを組み合わせたRMTを提案します。RetNetにインスパイアされたRMTは、視覚バックボーンに明示的な減衰を導入し、空間距離に関連する事前知識を視覚モデルにもたらします。この距離に関連する空間事前知識により、各トークンが注目できるトークンの範囲を明示的に制御できます。さらに、グローバルモデリングの計算コストを削減するため、このモデリングプロセスを画像の2つの座標軸に沿って分解します。豊富な実験により、私たちのRMTがさまざまなコンピュータビジョンタスクで卓越した性能を発揮することが実証されています。例えば、RMTはわずか4.5G FLOPsでImageNet-1kにおいて84.1%のTop1-accを達成します。私たちの知る限り、すべてのモデルの中で、RMTは類似のサイズで同じ戦略で訓練された場合に最高のTop1-accを達成しています。さらに、RMTは物体検出、インスタンスセグメンテーション、セマンティックセグメンテーションなどの下流タスクにおいて、既存の視覚バックボーンを大幅に上回ります。私たちの研究はまだ進行中です。

English

Transformer first appears in the field of natural language processing and is later migrated to the computer vision domain, where it demonstrates excellent performance in vision tasks. However, recently, Retentive Network (RetNet) has emerged as an architecture with the potential to replace Transformer, attracting widespread attention in the NLP community. Therefore, we raise the question of whether transferring RetNet's idea to vision can also bring outstanding performance to vision tasks. To address this, we combine RetNet and Transformer to propose RMT. Inspired by RetNet, RMT introduces explicit decay into the vision backbone, bringing prior knowledge related to spatial distances to the vision model. This distance-related spatial prior allows for explicit control of the range of tokens that each token can attend to. Additionally, to reduce the computational cost of global modeling, we decompose this modeling process along the two coordinate axes of the image. Abundant experiments have demonstrated that our RMT exhibits exceptional performance across various computer vision tasks. For example, RMT achieves 84.1% Top1-acc on ImageNet-1k using merely 4.5G FLOPs. To the best of our knowledge, among all models, RMT achieves the highest Top1-acc when models are of similar size and trained with the same strategy. Moreover, RMT significantly outperforms existing vision backbones in downstream tasks such as object detection, instance segmentation, and semantic segmentation. Our work is still in progress.