효율성과 효과성에 관한 기술: 상태 공간 모델에 대한 종합적 고찰

Technologies on Effectiveness and Efficiency: A Survey of State Spaces Models

March 14, 2025

저자: Xingtai Lv, Youbang Sun, Kaiyan Zhang, Shang Qu, Xuekai Zhu, Yuchen Fan, Yi Wu, Ermo Hua, Xinwei Long, Ning Ding, Bowen Zhou

cs.AI

초록

상태 공간 모델(State Space Models, SSMs)은 현재 널리 사용되는 트랜스포머 기반 모델의 유망한 대안으로 부상하며 점점 더 많은 관심을 받고 있습니다. 트랜스포머와 비교했을 때, SSM은 순차 데이터나 긴 문맥을 다루는 작업에서 뛰어난 성능을 보이며, 비슷한 성능을 유지하면서도 상당한 효율성 향상을 달성합니다. 본 논문에서는 SSM에 대한 일관적이고 체계적인 개요를 제공하며, 이론적 동기, 수학적 공식화, 기존 모델 클래스와의 비교, 그리고 다양한 응용 사례를 다룹니다. SSM 시리즈를 세 가지 주요 섹션으로 나누어, 원래의 SSM, S4로 대표되는 구조화된 SSM, 그리고 Mamba로 대표되는 선택적 SSM에 대해 상세히 소개합니다. 기술적 측면에 중점을 두고, SSM의 효과성과 효율성을 해결하기 위해 도입된 다양한 핵심 기술들을 강조합니다. 이 논문이 연구자들이 SSM의 이론적 기초를 탐구하는 데 도움이 되는 입문서 역할을 하길 바랍니다.

English

State Space Models (SSMs) have emerged as a promising alternative to the popular transformer-based models and have been increasingly gaining attention. Compared to transformers, SSMs excel at tasks with sequential data or longer contexts, demonstrating comparable performances with significant efficiency gains. In this survey, we provide a coherent and systematic overview for SSMs, including their theoretical motivations, mathematical formulations, comparison with existing model classes, and various applications. We divide the SSM series into three main sections, providing a detailed introduction to the original SSM, the structured SSM represented by S4, and the selective SSM typified by Mamba. We put an emphasis on technicality, and highlight the various key techniques introduced to address the effectiveness and efficiency of SSMs. We hope this manuscript serves as an introduction for researchers to explore the theoretical foundations of SSMs.