SiMBA: Vereinfachte Mamba-basierte Architektur für Vision und multivariate Zeitreihen

SiMBA: Simplified Mamba-Based Architecture for Vision and Multivariate Time series

March 22, 2024

Autoren: Badri N. Patro, Vijay S. Agneeswaran

cs.AI

Zusammenfassung

Transformer haben weit verbreitete Aufmerksamkeitsnetzwerke für Sequenzmischung und MLPs für Kanalmischung übernommen, die eine entscheidende Rolle bei der Erzielung von Durchbrüchen in verschiedenen Bereichen spielen. Allerdings weist die jüngste Literatur auf Probleme mit Aufmerksamkeitsnetzwerken hin, darunter geringe induktive Verzerrung und quadratische Komplexität in Bezug auf die Eingabesequenzlänge. Zustandsraummodelle (SSMs) wie S4 und andere (Hippo, Globale Faltungen, Flüssiges S4, LRU, Mega und Mamba) sind entstanden, um die genannten Probleme anzugehen und längere Sequenzlängen zu bewältigen. Mamba, obwohl es sich um das modernste SSM handelt, hat ein Stabilitätsproblem, wenn es auf große Netzwerke für Computer Vision Datensätze skaliert wird. Wir schlagen SiMBA vor, eine neue Architektur, die Einstein FFT (EinFFT) zur Kanalmodellierung durch spezifische Eigenwertberechnungen einführt und den Mamba-Block zur Sequenzmodellierung verwendet. Umfangreiche Leistungsstudien über Bild- und Zeitreihen-Benchmarks zeigen, dass SiMBA bestehende SSMs übertrifft und die Leistungslücke zu modernsten Transformatoren schließt. SiMBA etabliert sich insbesondere als das neue modernste SSM auf ImageNet und Transfer-Lern-Benchmarks wie Stanford Car und Flower sowie Aufgabenlern-Benchmarks sowie sieben Zeitreihen-Benchmark-Datensätzen. Die Projektseite ist auf dieser Website verfügbar: https://github.com/badripatro/Simba.

English

Transformers have widely adopted attention networks for sequence mixing and MLPs for channel mixing, playing a pivotal role in achieving breakthroughs across domains. However, recent literature highlights issues with attention networks, including low inductive bias and quadratic complexity concerning input sequence length. State Space Models (SSMs) like S4 and others (Hippo, Global Convolutions, liquid S4, LRU, Mega, and Mamba), have emerged to address the above issues to help handle longer sequence lengths. Mamba, while being the state-of-the-art SSM, has a stability issue when scaled to large networks for computer vision datasets. We propose SiMBA, a new architecture that introduces Einstein FFT (EinFFT) for channel modeling by specific eigenvalue computations and uses the Mamba block for sequence modeling. Extensive performance studies across image and time-series benchmarks demonstrate that SiMBA outperforms existing SSMs, bridging the performance gap with state-of-the-art transformers. Notably, SiMBA establishes itself as the new state-of-the-art SSM on ImageNet and transfer learning benchmarks such as Stanford Car and Flower as well as task learning benchmarks as well as seven time series benchmark datasets. The project page is available on this website ~https://github.com/badripatro/Simba.