EfficientVMamba: Escaneo Selectivo Atrous para Mamba Visual Ligero

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Autores: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Resumen

Los esfuerzos previos en el desarrollo de modelos ligeros se centraron principalmente en diseños basados en CNN y Transformers, pero enfrentaron desafíos persistentes. Las CNN, hábiles en la extracción de características locales, comprometen la resolución, mientras que los Transformers ofrecen alcance global pero aumentan las demandas computacionales O(N^2). Este equilibrio continuo entre precisión y eficiencia sigue siendo un obstáculo significativo. Recientemente, los modelos de espacio de estados (SSMs), como Mamba, han mostrado un rendimiento excepcional y competitividad en diversas tareas, como el modelado de lenguaje y la visión por computadora, al reducir la complejidad temporal de la extracción de información global a O(N). Inspirados por esto, este trabajo propone explorar el potencial de los modelos de espacio de estados visuales en el diseño de modelos ligeros e introduce una nueva variante eficiente denominada EfficientVMamba. Concretamente, nuestro EfficientVMamba integra un enfoque de escaneo selectivo basado en atrous mediante muestreo eficiente de saltos, constituyendo bloques diseñados para aprovechar tanto las características de representación global como local. Además, investigamos la integración entre bloques SSM y convoluciones, e introducimos un bloque eficiente de espacio de estados visuales combinado con una rama adicional de convolución, lo que eleva aún más el rendimiento del modelo. Los resultados experimentales muestran que EfficientVMamba reduce la complejidad computacional mientras ofrece resultados competitivos en una variedad de tareas de visión. Por ejemplo, nuestro EfficientVMamba-S con 1.3G FLOPs supera a Vim-Ti con 1.5G FLOPs por un amplio margen de 5.6% de precisión en ImageNet. El código está disponible en: https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.