Technologieën op het gebied van effectiviteit en efficiëntie: Een overzicht van state space-modellen

Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models

March 14, 2025

Auteurs: Xingtai Lv, Youbang Sun, Kaiyan Zhang, Shang Qu, Xuekai Zhu, Yuchen Fan, Yi Wu, Ermo Hua, Xinwei Long, Ning Ding, Bowen Zhou

cs.AI

Samenvatting

State Space Models (SSMs) zijn naar voren gekomen als een veelbelovend alternatief voor de populaire transformer-gebaseerde modellen en krijgen steeds meer aandacht. In vergelijking met transformers blinken SSMs uit bij taken met sequentiële data of langere contexten, waarbij ze vergelijkbare prestaties leveren met aanzienlijke efficiëntiewinsten. In dit overzicht bieden we een samenhangend en systematisch overzicht van SSMs, inclusief hun theoretische motivaties, wiskundige formuleringen, vergelijking met bestaande modelklassen en diverse toepassingen. We verdelen de SSM-reeks in drie hoofdonderdelen, waarbij we een gedetailleerde introductie geven van het originele SSM, het gestructureerde SSM vertegenwoordigd door S4, en het selectieve SSM getypeerd door Mamba. We leggen de nadruk op technische aspecten en belichten de verschillende sleuteltechnieken die zijn geïntroduceerd om de effectiviteit en efficiëntie van SSMs te verbeteren. We hopen dat dit manuscript dient als een introductie voor onderzoekers om de theoretische grondslagen van SSMs te verkennen.

English

State Space Models (SSMs) have emerged as a promising alternative to the popular transformer-based models and have been increasingly gaining attention. Compared to transformers, SSMs excel at tasks with sequential data or longer contexts, demonstrating comparable performances with significant efficiency gains. In this survey, we provide a coherent and systematic overview for SSMs, including their theoretical motivations, mathematical formulations, comparison with existing model classes, and various applications. We divide the SSM series into three main sections, providing a detailed introduction to the original SSM, the structured SSM represented by S4, and the selective SSM typified by Mamba. We put an emphasis on technicality, and highlight the various key techniques introduced to address the effectiveness and efficiency of SSMs. We hope this manuscript serves as an introduction for researchers to explore the theoretical foundations of SSMs.