О субквадратичных архитектурах: от приложений к принципам

Аннотация

Трансформеры доминируют в современном моделировании последовательностей, однако их квадратичное внимание влечет значительные вычислительные затраты. Субквадратичные архитектуры предлагают масштабируемую альтернативу. Тем не менее, остается неясным, какие конструкции обеспечивают наиболее эффективные модели последовательностей. Мы сравниваем три ведущих подхода: xLSTM, Mamba-2 и Gated DeltaNet. Мы оцениваем эти модели на задачах со сложными зависимостями: (1) предобучение кодовых моделей, (2) дистилляция кодовых моделей из больших языковых моделей и (3) предобучение базовых моделей временных рядов. В этих условиях xLSTM демонстрирует наилучшую общую производительность. Чтобы объяснить преимущество xLSTM, мы представляем единую формулировку и анализируем лежащие в основе архитектурные механизмы, уделяя внимание отслеживанию состояния и динамике памяти. Наши результаты показывают, что xLSTM обеспечивает более гибкую и устойчивую коррекцию памяти благодаря своей схеме стробирования. Мы подтверждаем эти выводы на контролируемых синтетических задачах обобщения длины. В целом, наши результаты указывают на то, что преимущества xLSTM в сложных задачах обусловлены надежным отслеживанием состояния и накоплением.

English

Transformers dominate modern sequence modeling, but their quadratic attention incurs substantial computational cost. Subquadratic architectures offer a scalable alternative. However, it remains unclear which designs yield the most effective sequence models. We compare three leading approaches: xLSTM, Mamba-2, and Gated DeltaNet. We evaluate these models on tasks with complex dependencies: (1) code-model pre-training, (2) distillation of code models from large language models, and (3) pre-training of time-series foundation models. Across these settings, xLSTM delivers the strongest overall performance. To explain xLSTM's advantage, we present a unified formulation and analyze the underlying architectural mechanisms, focusing on state tracking and memory dynamics. Our results show that xLSTM enables more flexible and stable memory correction via its gating scheme. We corroborate these findings on controlled synthetic length-generalization tasks. Overall, our findings indicate that xLSTM's gains on complex tasks stem from robust state tracking and accumulation.