RMT: Ретентивные сети встречаются с Vision Transformers

RMT: Retentive Networks Meet Vision Transformers

September 20, 2023

Авторы: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He

cs.AI

Аннотация

Transformer впервые появился в области обработки естественного языка и впоследствии был перенесён в область компьютерного зрения, где продемонстрировал выдающиеся результаты в задачах зрения. Однако недавно Retentive Network (RetNet) появилась как архитектура, способная заменить Transformer, привлекая широкое внимание в сообществе NLP. Поэтому мы задаёмся вопросом: может ли перенос идей RetNet в область зрения также привести к выдающимся результатам в задачах зрения? Чтобы ответить на этот вопрос, мы объединяем RetNet и Transformer, предлагая RMT. Вдохновлённый RetNet, RMT вводит явное затухание в основу модели зрения, добавляя априорные знания, связанные с пространственными расстояниями, в модель зрения. Этот пространственный априор, связанный с расстоянием, позволяет явно контролировать диапазон токенов, к которым каждый токен может обращаться. Кроме того, чтобы снизить вычислительную стоимость глобального моделирования, мы разлагаем этот процесс моделирования по двум координатным осям изображения. Многочисленные эксперименты показали, что наш RMT демонстрирует исключительную производительность в различных задачах компьютерного зрения. Например, RMT достигает 84,1% Top1-acc на ImageNet-1k, используя всего 4,5G FLOPs. Насколько нам известно, среди всех моделей RMT достигает наивысшего Top1-acc при схожем размере моделей и одинаковой стратегии обучения. Более того, RMT значительно превосходит существующие основы моделей зрения в таких задачах, как обнаружение объектов, сегментация экземпляров и семантическая сегментация. Наша работа всё ещё продолжается.

English

Transformer first appears in the field of natural language processing and is later migrated to the computer vision domain, where it demonstrates excellent performance in vision tasks. However, recently, Retentive Network (RetNet) has emerged as an architecture with the potential to replace Transformer, attracting widespread attention in the NLP community. Therefore, we raise the question of whether transferring RetNet's idea to vision can also bring outstanding performance to vision tasks. To address this, we combine RetNet and Transformer to propose RMT. Inspired by RetNet, RMT introduces explicit decay into the vision backbone, bringing prior knowledge related to spatial distances to the vision model. This distance-related spatial prior allows for explicit control of the range of tokens that each token can attend to. Additionally, to reduce the computational cost of global modeling, we decompose this modeling process along the two coordinate axes of the image. Abundant experiments have demonstrated that our RMT exhibits exceptional performance across various computer vision tasks. For example, RMT achieves 84.1% Top1-acc on ImageNet-1k using merely 4.5G FLOPs. To the best of our knowledge, among all models, RMT achieves the highest Top1-acc when models are of similar size and trained with the same strategy. Moreover, RMT significantly outperforms existing vision backbones in downstream tasks such as object detection, instance segmentation, and semantic segmentation. Our work is still in progress.