EfficientVMamba: Атроус-селективное сканирование для легкого визуального анализа Mamba

EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba

March 15, 2024

Авторы: Xiaohuan Pei, Tao Huang, Chang Xu

cs.AI

Аннотация

Предыдущие усилия в разработке легких моделей в основном сосредоточены на дизайнах на основе сверточных нейронных сетей (CNN) и трансформеров, но сталкиваются с постоянными вызовами. CNN, способные к локальному извлечению признаков, жертвуют разрешением, в то время как трансформеры обеспечивают глобальную охват, но увеличивают вычислительные требования до O(N^2). Этот постоянный компромисс между точностью и эффективностью остается значительным препятствием. Недавно модели пространства состояний (SSM), такие как Mamba, продемонстрировали выдающуюся производительность и конкурентоспособность в различных задачах, таких как языковое моделирование и компьютерное зрение, снижая при этом временную сложность глобального извлечения информации до O(N). Вдохновленные этим, в данной работе предлагается исследовать потенциал визуальных моделей пространства состояний в разработке легких моделей и представить новый эффективный вариант модели под названием EfficientVMamba. Конкретно, наш EfficientVMamba интегрирует подход выборочного сканирования на основе атрофии с помощью эффективного пропуска выборки, составляя строительные блоки, разработанные для использования как глобальных, так и локальных признаков. Кроме того, мы исследуем интеграцию между блоками SSM и свертками, а также представляем эффективный визуальный блок пространства состояний, объединенный с дополнительной ветвью свертки, что дополнительно повышает производительность модели. Экспериментальные результаты показывают, что EfficientVMamba снижает вычислительную сложность, сохраняя конкурентоспособные результаты в различных задачах компьютерного зрения. Например, наш EfficientVMamba-S с 1,3 миллиарда операций с плавающей запятой (FLOPs) улучшает Vim-Ti с 1,5 миллиарда FLOPs на 5,6% точности на наборе данных ImageNet. Код доступен по ссылке: https://github.com/TerryPei/EfficientVMamba.

English

Prior efforts in light-weight model development mainly centered on CNN and Transformer-based designs yet faced persistent challenges. CNNs adept at local feature extraction compromise resolution while Transformers offer global reach but escalate computational demands O(N^2). This ongoing trade-off between accuracy and efficiency remains a significant hurdle. Recently, state space models (SSMs), such as Mamba, have shown outstanding performance and competitiveness in various tasks such as language modeling and computer vision, while reducing the time complexity of global information extraction to O(N). Inspired by this, this work proposes to explore the potential of visual state space models in light-weight model design and introduce a novel efficient model variant dubbed EfficientVMamba. Concretely, our EfficientVMamba integrates a atrous-based selective scan approach by efficient skip sampling, constituting building blocks designed to harness both global and local representational features. Additionally, we investigate the integration between SSM blocks and convolutions, and introduce an efficient visual state space block combined with an additional convolution branch, which further elevate the model performance. Experimental results show that, EfficientVMamba scales down the computational complexity while yields competitive results across a variety of vision tasks. For example, our EfficientVMamba-S with 1.3G FLOPs improves Vim-Ti with 1.5G FLOPs by a large margin of 5.6% accuracy on ImageNet. Code is available at: https://github.com/TerryPei/EfficientVMamba.