EfficientVMamba: Scansione Selettiva Atrous per Visual Mamba Leggero

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Autori: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Abstract

I precedenti sforzi nello sviluppo di modelli leggeri si sono principalmente concentrati su progetti basati su CNN e Transformer, affrontando tuttavia persistenti sfide. Le CNN, abili nell'estrazione di caratteristiche locali, compromettono la risoluzione, mentre i Transformer offrono una portata globale ma aumentano le richieste computazionali O(N^2). Questo continuo compromesso tra accuratezza ed efficienza rimane un ostacolo significativo. Recentemente, i modelli a spazio di stato (SSM), come Mamba, hanno dimostrato prestazioni eccezionali e competitività in vari compiti come il modeling linguistico e la visione artificiale, riducendo al contempo la complessità temporale dell'estrazione di informazioni globali a O(N). Ispirati da ciò, questo lavoro propone di esplorare il potenziale dei modelli a spazio di stato visivo nel design di modelli leggeri e introduce una nuova variante efficiente denominata EfficientVMamba. Nello specifico, il nostro EfficientVMamba integra un approccio di scansione selettiva basato su atrous mediante campionamento saltato efficiente, costituendo blocchi costruttivi progettati per sfruttare sia le caratteristiche rappresentative globali che locali. Inoltre, indaghiamo l'integrazione tra blocchi SSM e convoluzioni e introduciamo un efficiente blocco a spazio di stato visivo combinato con un ramo di convoluzione aggiuntivo, che eleva ulteriormente le prestazioni del modello. I risultati sperimentali mostrano che EfficientVMamba riduce la complessità computazionale pur ottenendo risultati competitivi in una varietà di compiti di visione. Ad esempio, il nostro EfficientVMamba-S con 1.3G FLOPs migliora Vim-Ti con 1.5G FLOPs con un ampio margine del 5.6% di accuratezza su ImageNet. Il codice è disponibile all'indirizzo: https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.