SiMBA : Architecture simplifiée basée sur Mamba pour la vision et les séries temporelles multivariées

SiMBA: Simplified Mamba-Based Architecture for Vision and Multivariate Time series

March 22, 2024

Auteurs: Badri N. Patro, Vijay S. Agneeswaran

cs.AI

Résumé

Les Transformers ont largement adopté les réseaux d'attention pour le mélange de séquences et les MLPs (Multi-Layer Perceptrons) pour le mélange de canaux, jouant un rôle central dans la réalisation de percées à travers divers domaines. Cependant, la littérature récente met en lumière des problèmes liés aux réseaux d'attention, notamment un faible biais inductif et une complexité quadratique par rapport à la longueur de la séquence d'entrée. Les modèles d'état d'espace (SSMs) tels que S4 et d'autres (Hippo, Global Convolutions, liquid S4, LRU, Mega et Mamba) ont émergé pour résoudre ces problèmes et permettre de gérer des séquences plus longues. Mamba, bien qu'étant le SSM le plus avancé, présente un problème de stabilité lorsqu'il est mis à l'échelle pour de grands réseaux sur des ensembles de données de vision par ordinateur. Nous proposons SiMBA, une nouvelle architecture qui introduit la transformée de Fourier rapide d'Einstein (EinFFT) pour la modélisation des canaux via des calculs spécifiques de valeurs propres et utilise le bloc Mamba pour la modélisation des séquences. Des études de performance approfondies sur des benchmarks d'images et de séries temporelles démontrent que SiMBA surpasse les SSM existants, comblant ainsi l'écart de performance avec les Transformers de pointe. Notamment, SiMBA s'impose comme le nouveau SSM de référence sur ImageNet ainsi que sur des benchmarks de transfert d'apprentissage tels que Stanford Car et Flower, ainsi que sur des benchmarks d'apprentissage de tâches et sept ensembles de données de séries temporelles. La page du projet est disponible sur ce site web : ~https://github.com/badripatro/Simba.

English

Transformers have widely adopted attention networks for sequence mixing and MLPs for channel mixing, playing a pivotal role in achieving breakthroughs across domains. However, recent literature highlights issues with attention networks, including low inductive bias and quadratic complexity concerning input sequence length. State Space Models (SSMs) like S4 and others (Hippo, Global Convolutions, liquid S4, LRU, Mega, and Mamba), have emerged to address the above issues to help handle longer sequence lengths. Mamba, while being the state-of-the-art SSM, has a stability issue when scaled to large networks for computer vision datasets. We propose SiMBA, a new architecture that introduces Einstein FFT (EinFFT) for channel modeling by specific eigenvalue computations and uses the Mamba block for sequence modeling. Extensive performance studies across image and time-series benchmarks demonstrate that SiMBA outperforms existing SSMs, bridging the performance gap with state-of-the-art transformers. Notably, SiMBA establishes itself as the new state-of-the-art SSM on ImageNet and transfer learning benchmarks such as Stanford Car and Flower as well as task learning benchmarks as well as seven time series benchmark datasets. The project page is available on this website ~https://github.com/badripatro/Simba.