EfficientVMamba : Balayage sélectif atrous pour un Mamba visuel léger

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Auteurs: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Résumé

Les efforts antérieurs dans le développement de modèles légers se sont principalement concentrés sur des architectures basées sur les CNN et les Transformers, mais ont rencontré des défis persistants. Les CNN, bien qu'habiles à extraire des caractéristiques locales, compromettent la résolution, tandis que les Transformers offrent une portée globale mais augmentent les exigences computationnelles en O(N^2). Ce compromis permanent entre précision et efficacité reste un obstacle majeur. Récemment, les modèles d'espace d'état (SSMs), tels que Mamba, ont montré des performances exceptionnelles et une compétitivité dans diverses tâches telles que la modélisation du langage et la vision par ordinateur, tout en réduisant la complexité temporelle de l'extraction d'informations globales à O(N). Inspirés par cela, ce travail propose d'explorer le potentiel des modèles d'espace d'état visuels dans la conception de modèles légers et introduit une nouvelle variante de modèle efficace appelée EfficientVMamba. Concrètement, notre EfficientVMamba intègre une approche de balayage sélectif basée sur l'atrous par un échantillonnage efficace, constituant des blocs de construction conçus pour exploiter à la fois les caractéristiques de représentation globales et locales. De plus, nous étudions l'intégration entre les blocs SSM et les convolutions, et introduisons un bloc d'espace d'état visuel efficace combiné avec une branche de convolution supplémentaire, ce qui améliore encore les performances du modèle. Les résultats expérimentaux montrent qu'EfficientVMamba réduit la complexité computationnelle tout en obtenant des résultats compétitifs dans une variété de tâches de vision. Par exemple, notre EfficientVMamba-S avec 1,3G FLOPs améliore Vim-Ti avec 1,5G FLOPs par une marge significative de 5,6% en précision sur ImageNet. Le code est disponible à l'adresse : https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.