Effektive Destillation für hybride xLSTM-Architekturen
Effective Distillation to Hybrid xLSTM Architectures
March 16, 2026
Autoren: Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta Hartl, David Stap, Pieter-Jan Hoedt, Maximilian Beck, Sebastian Böck, Günter Klambauer, Sepp Hochreiter
cs.AI
Zusammenfassung
Es gab zahlreiche Versuche, quadratische auf Aufmerksamkeit basierende große Sprachmodelle (LLMs) in subquadratische linearisierte Architekturen zu destillieren. Trotz intensiver Forschung erreichen solche destillierten Modelle jedoch oft nicht die Leistung ihrer Lehrer-LLMs bei verschiedenen Downstream-Aufgaben. Wir setzen uns das Ziel einer verlustfreien Destillation, die wir anhand toleranzkorrigierter Gewinn- und Unentschieden-Raten zwischen Schüler und Lehrer auf Aufgabensets definieren. Zu diesem Zweck führen wir eine effektive Destillations-Pipeline für xLSTM-basierte Schüler-Modelle ein. Wir schlagen eine zusätzliche Verschmelzungsphase vor, bei der individuell linearisierte Experten zu einem einzigen Modell kombiniert werden. Wir zeigen die Wirksamkeit dieser Pipeline, indem wir Basis- und instruktionsfeinabgestimmte Modelle aus den Llama-, Qwen- und Olmo-Familien destillieren. In vielen Szenarien erreichen unsere xLSTM-basierten Schüler-Modelle den Großteil der Lehrerleistung und übertreffen diese sogar bei einigen Downstream-Aufgaben. Unsere Beiträge sind ein wichtiger Schritt hin zu energieeffizienteren und kostengünstigeren Ersatzmodellen für transformerbasierte LLMs.
English
There have been numerous attempts to distill quadratic attention-based large language models (LLMs) into sub-quadratic linearized architectures. However, despite extensive research, such distilled models often fail to match the performance of their teacher LLMs on various downstream tasks. We set out the goal of lossless distillation, which we define in terms of tolerance-corrected Win-and-Tie rates between student and teacher on sets of tasks. To this end, we introduce an effective distillation pipeline for xLSTM-based students. We propose an additional merging stage, where individually linearized experts are combined into a single model. We show the effectiveness of this pipeline by distilling base and instruction-tuned models from the Llama, Qwen, and Olmo families. In many settings, our xLSTM-based students recover most of the teacher's performance, and even exceed it on some downstream tasks. Our contributions are an important step towards more energy-efficient and cost-effective replacements for transformer-based LLMs.