EfficientVMamba: Varredura Seletiva Atrous para Mamba Visual Leve

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Autores: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Resumo

Esforços anteriores no desenvolvimento de modelos leves concentraram-se principalmente em designs baseados em CNNs e Transformers, mas enfrentaram desafios persistentes. As CNNs, habilidosas na extração de características locais, comprometem a resolução, enquanto os Transformers oferecem alcance global, mas aumentam as demandas computacionais O(N^2). Esse contínuo trade-off entre precisão e eficiência permanece um obstáculo significativo. Recentemente, modelos de espaço de estados (SSMs), como o Mamba, demonstraram desempenho excepcional e competitividade em várias tarefas, como modelagem de linguagem e visão computacional, enquanto reduzem a complexidade temporal da extração de informações globais para O(N). Inspirados por isso, este trabalho propõe explorar o potencial dos modelos de espaço de estados visuais no design de modelos leves e introduz uma nova variante eficiente chamada EfficientVMamba. Concretamente, nosso EfficientVMamba integra uma abordagem de varredura seletiva baseada em atrous por meio de amostragem eficiente de saltos, constituindo blocos de construção projetados para aproveitar tanto características representacionais globais quanto locais. Além disso, investigamos a integração entre blocos SSM e convoluções e introduzimos um bloco eficiente de espaço de estados visuais combinado com um ramo adicional de convolução, o que eleva ainda mais o desempenho do modelo. Resultados experimentais mostram que o EfficientVMamba reduz a complexidade computacional enquanto produz resultados competitivos em uma variedade de tarefas de visão. Por exemplo, nosso EfficientVMamba-S com 1.3G FLOPs supera o Vim-Ti com 1.5G FLOPs por uma grande margem de 5.6% de precisão no ImageNet. O código está disponível em: https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.