Hybrid Linear Attention richtig gemacht: Effiziente Distillation und effektive Architekturen für extrem lange Kontexte

Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts

January 29, 2026

papers.authors: Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu

cs.AI

papers.abstract

Hybride Transformer-Architekturen, die Softmax-Attention-Blöcke mit rekurrenten neuronalen Netzen (RNNs) kombinieren, haben für die Modellierung langer Kontexte ein vorteilhaftes Verhältnis zwischen Leistung und Durchsatz gezeigt. Ihre Verbreitung und Erforschung wird jedoch durch die prohibitiv hohen Kosten eines Large-Scale-Pre-Trainings von Grund auf behindert. Jüngste Studien haben gezeigt, dass vortrainierte Softmax-Attention-Blöcke durch Parametertransfer und Wissensdistillation in RNN-Blöcke umgewandelt werden können. Diese Transfermethoden erfordern jedoch erhebliche Mengen an Trainingsdaten (mehr als 10 Milliarden Tokens), und die resultierenden Hybridmodelle zeigen auch eine schlechte Leistung bei langen Kontexten – also genau in dem Szenario, in dem Hybridmodelle signifikante Inferenzbeschleunigungen gegenüber Transformer-Modellen aufweisen. In diesem Artikel stellen wir HALO (Hybrid Attention via Layer Optimization) vor, eine Pipeline zur Distillation von Transformer-Modellen in RNN-Attention-Hybridmodelle. Anschließend präsentieren wir HypeNet, eine Hybridarchitektur mit überlegener Längengeneralisierung, die durch ein neuartiges Verfahren zur Positionskodierung (HyPE genannt) und verschiedene architektonische Modifikationen ermöglicht wird. Wir wandeln die Qwen3-Serie mit HALO in HypeNet um und erreichen dabei eine Leistung, die mit der der ursprünglichen Transformer-Modelle vergleichbar ist, bei gleichzeitig überlegener Leistung und Effizienz im Langkontext. Für die Konvertierung werden lediglich 2,3 Milliarden Tokens benötigt, was weniger als 0,01 % der Pre-Training-Daten entspricht.

English

Hybrid Transformer architectures, which combine softmax attention blocks and recurrent neural networks (RNNs), have shown a desirable performance-throughput tradeoff for long-context modeling, but their adoption and studies are hindered by the prohibitive cost of large-scale pre-training from scratch. Some recent studies have shown that pre-trained softmax attention blocks can be converted into RNN blocks through parameter transfer and knowledge distillation. However, these transfer methods require substantial amounts of training data (more than 10B tokens), and the resulting hybrid models also exhibit poor long-context performance, which is the scenario where hybrid models enjoy significant inference speedups over Transformer-based models. In this paper, we present HALO (Hybrid Attention via Layer Optimization), a pipeline for distilling Transformer models into RNN-attention hybrid models. We then present HypeNet, a hybrid architecture with superior length generalization enabled by a novel position encoding scheme (named HyPE) and various architectural modifications. We convert the Qwen3 series into HypeNet using HALO, achieving performance comparable to the original Transformer models while enjoying superior long-context performance and efficiency. The conversion requires just 2.3B tokens, less than 0.01% of their pre-training data