EfficientVMamba: Atrous Selektives Scannen für Leichtgewichts-Visual-Mamba.

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Autoren: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Zusammenfassung

Bisherige Bemühungen zur Entwicklung von leichten Modellen konzentrierten sich hauptsächlich auf CNN- und Transformer-basierte Designs, die jedoch auf anhaltende Herausforderungen stießen. CNNs, die sich auf die lokale Merkmalsextraktion verstehen, gehen auf Kosten der Auflösung, während Transformer eine globale Reichweite bieten, aber die Rechenanforderungen auf O(N^2) erhöhen. Dieser fortlaufende Kompromiss zwischen Genauigkeit und Effizienz bleibt ein bedeutendes Hindernis. In letzter Zeit haben Zustandsraummodelle (SSMs) wie Mamba eine herausragende Leistung und Wettbewerbsfähigkeit in verschiedenen Aufgaben wie der Sprachmodellierung und der Computer Vision gezeigt, wobei die Zeitkomplexität der globalen Informationsextraktion auf O(N) reduziert wird. Inspiriert davon schlägt diese Arbeit vor, das Potenzial von visuellen Zustandsraummodellen bei der Entwicklung von leichten Modellen zu erkunden und eine neuartige effiziente Modellvariante namens EfficientVMamba einzuführen. Konkret integriert unser EfficientVMamba einen auf Atrous basierenden selektiven Scan-Ansatz durch effizientes Überspringen von Proben, der aus Bausteinen besteht, die darauf ausgelegt sind, sowohl globale als auch lokale Repräsentationsmerkmale zu nutzen. Darüber hinaus untersuchen wir die Integration von SSM-Blöcken und Faltungen und führen einen effizienten visuellen Zustandsraumblock in Kombination mit einem zusätzlichen Faltungsast ein, der die Leistung des Modells weiter verbessert. Experimentelle Ergebnisse zeigen, dass EfficientVMamba die Rechenkomplexität reduziert und dabei wettbewerbsfähige Ergebnisse bei einer Vielzahl von Vision-Aufgaben liefert. Beispielsweise verbessert unser EfficientVMamba-S mit 1,3G FLOPs die Vim-Ti mit 1,5G FLOPs um einen großen Anteil von 5,6% Genauigkeit auf ImageNet. Der Code ist verfügbar unter: https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.