FasterViT: Snelle Vision Transformers met Hiërarchische Aandacht

FasterViT: Fast Vision Transformers with Hierarchical Attention

June 9, 2023

Auteurs: Ali Hatamizadeh, Greg Heinrich, Hongxu Yin, Andrew Tao, Jose M. Alvarez, Jan Kautz, Pavlo Molchanov

cs.AI

Samenvatting

We ontwerpen een nieuwe familie van hybride CNN-ViT neurale netwerken, genaamd FasterViT, met een focus op hoge beelddoorvoer voor computervisie (CV) toepassingen. FasterViT combineert de voordelen van snelle lokale representatieleer in CNN's en globale modelleringseigenschappen in ViT. Onze nieuw geïntroduceerde Hiërarchische Aandacht (HAT) aanpak deconstrueert globale zelf-aandacht met kwadratische complexiteit in een multi-level aandacht met verminderde rekenkosten. We profiteren van efficiënte venstergebaseerde zelf-aandacht. Elk venster heeft toegang tot toegewezen draagtokens die deelnemen aan lokale en globale representatieleer. Op een hoog niveau maken globale zelf-aandachten efficiënte communicatie tussen vensters mogelijk tegen lagere kosten. FasterViT bereikt een SOTA Pareto-front in termen van nauwkeurigheid versus beelddoorvoer. We hebben de effectiviteit uitgebreid gevalideerd op verschillende CV-taken, waaronder classificatie, objectdetectie en segmentatie. We laten ook zien dat HAT kan worden gebruikt als een plug-and-play module voor bestaande netwerken en deze kan verbeteren. We demonstreren verder aanzienlijk snellere en nauwkeurigere prestaties dan concurrerende tegenhangers voor afbeeldingen met hoge resolutie. Code is beschikbaar op https://github.com/NVlabs/FasterViT.

English

We design a new family of hybrid CNN-ViT neural networks, named FasterViT, with a focus on high image throughput for computer vision (CV) applications. FasterViT combines the benefits of fast local representation learning in CNNs and global modeling properties in ViT. Our newly introduced Hierarchical Attention (HAT) approach decomposes global self-attention with quadratic complexity into a multi-level attention with reduced computational costs. We benefit from efficient window-based self-attention. Each window has access to dedicated carrier tokens that participate in local and global representation learning. At a high level, global self-attentions enable the efficient cross-window communication at lower costs. FasterViT achieves a SOTA Pareto-front in terms of accuracy \vs image throughput. We have extensively validated its effectiveness on various CV tasks including classification, object detection and segmentation. We also show that HAT can be used as a plug-and-play module for existing networks and enhance them. We further demonstrate significantly faster and more accurate performance than competitive counterparts for images with high resolution. Code is available at https://github.com/NVlabs/FasterViT.