FasterViT: Transformadores Visuais Rápidos com Atenção Hierárquica

FasterViT: Fast Vision Transformers with Hierarchical Attention

June 9, 2023

Autores: Ali Hatamizadeh, Greg Heinrich, Hongxu Yin, Andrew Tao, Jose M. Alvarez, Jan Kautz, Pavlo Molchanov

cs.AI

Resumo

Projetamos uma nova família de redes neurais híbridas CNN-ViT, denominada FasterViT, com foco em alta taxa de processamento de imagens para aplicações de visão computacional (CV). A FasterViT combina os benefícios do aprendizado rápido de representações locais das CNNs e das propriedades de modelagem global das ViTs. Nossa abordagem recém-introduzida, chamada Hierarchical Attention (HAT), decompõe a auto-atenção global com complexidade quadrática em uma atenção multi-nível com custos computacionais reduzidos. Beneficiamo-nos da eficiente auto-atenção baseada em janelas, onde cada janela tem acesso a tokens portadores dedicados que participam do aprendizado de representações locais e globais. Em um nível mais alto, as auto-atenções globais permitem a comunicação eficiente entre janelas a custos mais baixos. A FasterViT alcança uma fronteira de Pareto de estado da arte (SOTA) em termos de precisão versus taxa de processamento de imagens. Validamos extensivamente sua eficácia em várias tarefas de CV, incluindo classificação, detecção de objetos e segmentação. Também mostramos que o HAT pode ser usado como um módulo plug-and-play para redes existentes, aprimorando-as. Além disso, demonstramos um desempenho significativamente mais rápido e preciso do que os concorrentes para imagens de alta resolução. O código está disponível em https://github.com/NVlabs/FasterViT.

English

We design a new family of hybrid CNN-ViT neural networks, named FasterViT, with a focus on high image throughput for computer vision (CV) applications. FasterViT combines the benefits of fast local representation learning in CNNs and global modeling properties in ViT. Our newly introduced Hierarchical Attention (HAT) approach decomposes global self-attention with quadratic complexity into a multi-level attention with reduced computational costs. We benefit from efficient window-based self-attention. Each window has access to dedicated carrier tokens that participate in local and global representation learning. At a high level, global self-attentions enable the efficient cross-window communication at lower costs. FasterViT achieves a SOTA Pareto-front in terms of accuracy \vs image throughput. We have extensively validated its effectiveness on various CV tasks including classification, object detection and segmentation. We also show that HAT can be used as a plug-and-play module for existing networks and enhance them. We further demonstrate significantly faster and more accurate performance than competitive counterparts for images with high resolution. Code is available at https://github.com/NVlabs/FasterViT.