Sobre Arquiteturas Subquadráticas: Das Aplicações aos Princípios

Resumo

Transformadores dominam a modelagem moderna de sequências, mas sua atenção quadrática incorre em um custo computacional substancial. Arquiteturas subquadráticas oferecem uma alternativa escalável. No entanto, ainda não está claro quais designs resultam nos modelos de sequência mais eficazes. Comparamos três abordagens principais: xLSTM, Mamba-2 e Gated DeltaNet. Avaliamos esses modelos em tarefas com dependências complexas: (1) pré-treinamento de modelos de código, (2) destilação de modelos de código a partir de grandes modelos de linguagem e (3) pré-treinamento de modelos fundacionais de séries temporais. Nesses contextos, o xLSTM apresenta o desempenho geral mais forte. Para explicar a vantagem do xLSTM, apresentamos uma formulação unificada e analisamos os mecanismos arquitetônicos subjacentes, com foco no rastreamento de estado e na dinâmica de memória. Nossos resultados mostram que o xLSTM permite uma correção de memória mais flexível e estável por meio de seu esquema de portas. Corroboramos essas descobertas em tarefas controladas sintéticas de generalização de comprimento. No geral, nossos resultados indicam que os ganhos do xLSTM em tarefas complexas decorrem de um rastreamento e acumulação robustos do estado.

English

Transformers dominate modern sequence modeling, but their quadratic attention incurs substantial computational cost. Subquadratic architectures offer a scalable alternative. However, it remains unclear which designs yield the most effective sequence models. We compare three leading approaches: xLSTM, Mamba-2, and Gated DeltaNet. We evaluate these models on tasks with complex dependencies: (1) code-model pre-training, (2) distillation of code models from large language models, and (3) pre-training of time-series foundation models. Across these settings, xLSTM delivers the strongest overall performance. To explain xLSTM's advantage, we present a unified formulation and analyze the underlying architectural mechanisms, focusing on state tracking and memory dynamics. Our results show that xLSTM enables more flexible and stable memory correction via its gating scheme. We corroborate these findings on controlled synthetic length-generalization tasks. Overall, our findings indicate that xLSTM's gains on complex tasks stem from robust state tracking and accumulation.