Over Subkwadratische Architecturen: Van Toepassingen naar Principes

Samenvatting

Transformers domineren moderne sequentiemodellering, maar hun kwadratische aandacht brengt aanzienlijke rekenkosten met zich mee. Subkwadratische architecturen bieden een schaalbaar alternatief. Het blijft echter onduidelijk welke ontwerpen de meest effectieve sequentiemodellen opleveren. We vergelijken drie toonaangevende benaderingen: xLSTM, Mamba-2 en Gated DeltaNet. We evalueren deze modellen op taken met complexe afhankelijkheden: (1) pre-training van codemodellen, (2) distillatie van codemodellen uit grote taalmodellen, en (3) pre-training van funderingsmodellen voor tijdreeksen. In al deze omgevingen levert xLSTM de sterkste algehele prestaties. Om het voordeel van xLSTM te verklaren, presenteren we een uniforme formulering en analyseren we de onderliggende architectuurmechanismen, met de focus op toestandsregistratie en geheugendynamiek. Onze resultaten tonen aan dat xLSTM flexibelere en stabielere geheugencorrectie mogelijk maakt via zijn gating-schema. We bevestigen deze bevindingen op gecontroleerde synthetische lengtegeneralizatietaken. Over het algemeen wijzen onze bevindingen erop dat de winst van xLSTM op complexe taken voortkomt uit robuuste toestandsregistratie en accumulatie.

English

Transformers dominate modern sequence modeling, but their quadratic attention incurs substantial computational cost. Subquadratic architectures offer a scalable alternative. However, it remains unclear which designs yield the most effective sequence models. We compare three leading approaches: xLSTM, Mamba-2, and Gated DeltaNet. We evaluate these models on tasks with complex dependencies: (1) code-model pre-training, (2) distillation of code models from large language models, and (3) pre-training of time-series foundation models. Across these settings, xLSTM delivers the strongest overall performance. To explain xLSTM's advantage, we present a unified formulation and analyze the underlying architectural mechanisms, focusing on state tracking and memory dynamics. Our results show that xLSTM enables more flexible and stable memory correction via its gating scheme. We corroborate these findings on controlled synthetic length-generalization tasks. Overall, our findings indicate that xLSTM's gains on complex tasks stem from robust state tracking and accumulation.