RMT: Retentieve Netwerken Ontmoeten Vision Transformers

RMT: Retentive Networks Meet Vision Transformers

September 20, 2023

Auteurs: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He

cs.AI

Samenvatting

Transformer deed zijn intrede op het gebied van natuurlijke taalverwerking en werd later overgeheveld naar het domein van computervisie, waar het uitstekende prestaties laat zien bij visuele taken. Recentelijk is echter Retentive Network (RetNet) opgekomen als een architectuur met het potentieel om Transformer te vervangen, wat brede aandacht heeft getrokken in de NLP-gemeenschap. Daarom stellen we de vraag of het overbrengen van het idee van RetNet naar visie ook uitmuntende prestaties kan opleveren voor visuele taken. Om dit te onderzoeken, combineren we RetNet en Transformer om RMT voor te stellen. Geïnspireerd door RetNet introduceert RMT expliciete verval in de visuele backbone, wat voorkennis met betrekking tot ruimtelijke afstanden toevoegt aan het visuele model. Deze afstandsgerelateerde ruimtelijke prior maakt het mogelijk om expliciet het bereik van tokens dat elke token kan bereiken te controleren. Daarnaast decomponeren we het globale modelleringsproces langs de twee coördinaatassen van de afbeelding om de rekenkosten te verminderen. Uitgebreide experimenten hebben aangetoond dat onze RMT uitzonderlijke prestaties vertoont bij diverse computervisietaken. Zo behaalt RMT bijvoorbeeld een Top1-acc van 84,1% op ImageNet-1k met slechts 4,5G FLOPs. Voor zover wij weten, behaalt RMT de hoogste Top1-acc onder alle modellen wanneer modellen van vergelijkbare grootte zijn en met dezelfde strategie getraind worden. Bovendien overtreft RMT bestaande visuele backbones aanzienlijk in downstream taken zoals objectdetectie, instantiesegmentatie en semantische segmentatie. Ons werk is nog in uitvoering.

English

Transformer first appears in the field of natural language processing and is later migrated to the computer vision domain, where it demonstrates excellent performance in vision tasks. However, recently, Retentive Network (RetNet) has emerged as an architecture with the potential to replace Transformer, attracting widespread attention in the NLP community. Therefore, we raise the question of whether transferring RetNet's idea to vision can also bring outstanding performance to vision tasks. To address this, we combine RetNet and Transformer to propose RMT. Inspired by RetNet, RMT introduces explicit decay into the vision backbone, bringing prior knowledge related to spatial distances to the vision model. This distance-related spatial prior allows for explicit control of the range of tokens that each token can attend to. Additionally, to reduce the computational cost of global modeling, we decompose this modeling process along the two coordinate axes of the image. Abundant experiments have demonstrated that our RMT exhibits exceptional performance across various computer vision tasks. For example, RMT achieves 84.1% Top1-acc on ImageNet-1k using merely 4.5G FLOPs. To the best of our knowledge, among all models, RMT achieves the highest Top1-acc when models are of similar size and trained with the same strategy. Moreover, RMT significantly outperforms existing vision backbones in downstream tasks such as object detection, instance segmentation, and semantic segmentation. Our work is still in progress.