Transformers são SSMs: Modelos Generalizados e Algoritmos Eficientes Através da Dualidade de Espaço de Estados Estruturados
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
May 31, 2024
Autores: Tri Dao, Albert Gu
cs.AI
Resumo
Embora os Transformers tenham sido a principal arquitetura por trás do sucesso do aprendizado profundo na modelagem de linguagem, modelos de espaço de estados (SSMs, na sigla em inglês), como o Mamba, recentemente demonstraram desempenho equivalente ou superior aos Transformers em escalas pequenas a médias. Mostramos que essas famílias de modelos estão, na verdade, intimamente relacionadas e desenvolvemos um rico framework de conexões teóricas entre SSMs e variantes de atenção, conectadas por meio de várias decomposições de uma classe bem estudada de matrizes semisseparáveis estruturadas. Nosso framework de dualidade de espaço de estados (SSD, na sigla em inglês) nos permite projetar uma nova arquitetura (Mamba-2) cuja camada central é um refinamento do SSM seletivo do Mamba, sendo 2 a 8 vezes mais rápida, enquanto continua competitiva com os Transformers na modelagem de linguagem.
English
While Transformers have been the main architecture behind deep learning's
success in language modeling, state-space models (SSMs) such as Mamba have
recently been shown to match or outperform Transformers at small to medium
scale. We show that these families of models are actually quite closely
related, and develop a rich framework of theoretical connections between SSMs
and variants of attention, connected through various decompositions of a
well-studied class of structured semiseparable matrices. Our state space
duality (SSD) framework allows us to design a new architecture (Mamba-2) whose
core layer is an a refinement of Mamba's selective SSM that is 2-8X faster,
while continuing to be competitive with Transformers on language modeling.