RMT: Redes Retentivas Encontram Transformers Visuais

RMT: Retentive Networks Meet Vision Transformers

September 20, 2023

Autores: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He

cs.AI

Resumo

O Transformer surgiu inicialmente no campo de processamento de linguagem natural e posteriormente foi migrado para o domínio de visão computacional, onde demonstrou excelente desempenho em tarefas visuais. No entanto, recentemente, a Retentive Network (RetNet) emergiu como uma arquitetura com potencial para substituir o Transformer, atraindo ampla atenção na comunidade de NLP. Portanto, levantamos a questão de se a transferência da ideia da RetNet para a visão também pode trazer desempenho excepcional para tarefas visuais. Para abordar isso, combinamos a RetNet e o Transformer para propor o RMT. Inspirado pela RetNet, o RMT introduz um decaimento explícito no backbone de visão, trazendo conhecimento prévio relacionado a distâncias espaciais para o modelo de visão. Esse conhecimento prévio espacial relacionado à distância permite o controle explícito do alcance de tokens que cada token pode atender. Além disso, para reduzir o custo computacional da modelagem global, decompomos esse processo de modelagem ao longo dos dois eixos coordenados da imagem. Experimentos abundantes demonstraram que nosso RMT exibe desempenho excepcional em várias tarefas de visão computacional. Por exemplo, o RMT alcança 84,1% de acurácia Top1 no ImageNet-1k usando apenas 4,5G FLOPs. Até onde sabemos, entre todos os modelos, o RMT alcança a maior acurácia Top1 quando os modelos têm tamanho semelhante e são treinados com a mesma estratégia. Além disso, o RMT supera significativamente os backbones de visão existentes em tarefas downstream, como detecção de objetos, segmentação de instâncias e segmentação semântica. Nosso trabalho ainda está em andamento.

English

Transformer first appears in the field of natural language processing and is later migrated to the computer vision domain, where it demonstrates excellent performance in vision tasks. However, recently, Retentive Network (RetNet) has emerged as an architecture with the potential to replace Transformer, attracting widespread attention in the NLP community. Therefore, we raise the question of whether transferring RetNet's idea to vision can also bring outstanding performance to vision tasks. To address this, we combine RetNet and Transformer to propose RMT. Inspired by RetNet, RMT introduces explicit decay into the vision backbone, bringing prior knowledge related to spatial distances to the vision model. This distance-related spatial prior allows for explicit control of the range of tokens that each token can attend to. Additionally, to reduce the computational cost of global modeling, we decompose this modeling process along the two coordinate axes of the image. Abundant experiments have demonstrated that our RMT exhibits exceptional performance across various computer vision tasks. For example, RMT achieves 84.1% Top1-acc on ImageNet-1k using merely 4.5G FLOPs. To the best of our knowledge, among all models, RMT achieves the highest Top1-acc when models are of similar size and trained with the same strategy. Moreover, RMT significantly outperforms existing vision backbones in downstream tasks such as object detection, instance segmentation, and semantic segmentation. Our work is still in progress.