Effectieve distillatie naar hybride xLSTM-architecturen

Effective Distillation to Hybrid xLSTM Architectures

March 16, 2026

Auteurs: Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta Hartl, David Stap, Pieter-Jan Hoedt, Maximilian Beck, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

cs.AI

Samenvatting

Er zijn talloze pogingen gedaan om op kwadratische aandacht gebaseerde large language models (LLM's) te destilleren tot sub-kwadratische, gelineariseerde architecturen. Desondanks slagen dergelijke gedistilleerde modellen, ondanks uitgebreid onderzoek, vaak niet om de prestaties van hun teacher-LLM's op diverse downstream-taken te evenaren. Wij stellen ons ten doel om verliesvrije distillatie te bereiken, wat wij definiëren in termen van tolerantie-gecorrigeerde Win-and-Tie percentages tussen student en teacher op sets van taken. Hiertoe introduceren wij een effectieve distillatiepijplijn voor op xLSTM gebaseerde studentmodellen. Wij stellen een extra merge-fase voor, waarin individueel gelineariseerde experts worden gecombineerd tot één enkel model. Wij tonen de effectiviteit van deze pijplijn aan door basis- en instruction-tuned modellen te distilleren uit de Llama-, Qwen- en Olmo-families. In veel gevallen halen onze op xLSTM gebaseerde studentmodellen het grootste deel van de prestaties van de teacher terug, en overtreffen deze zelfs op sommige downstream-taken. Onze bijdragen vormen een belangrijke stap in de richting van energiezuinigere en kosteneffectievere vervangers voor op transformers gebaseerde LLM's.

English

There have been numerous attempts to distill quadratic attention-based large language models (LLMs) into sub-quadratic linearized architectures. However, despite extensive research, such distilled models often fail to match the performance of their teacher LLMs on various downstream tasks. We set out the goal of lossless distillation, which we define in terms of tolerance-corrected Win-and-Tie rates between student and teacher on sets of tasks. To this end, we introduce an effective distillation pipeline for xLSTM-based students. We propose an additional merging stage, where individually linearized experts are combined into a single model. We show the effectiveness of this pipeline by distilling base and instruction-tuned models from the Llama, Qwen, and Olmo families. In many settings, our xLSTM-based students recover most of the teacher's performance, and even exceed it on some downstream tasks. Our contributions are an important step towards more energy-efficient and cost-effective replacements for transformer-based LLMs.