Attention Linéaire Hybride Bien Conçue : Distillation Efficace et Architectures Performantes pour des Contextes Extrêmement Longs

Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts

January 29, 2026

papers.authors: Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu

cs.AI

papers.abstract

Les architectures Transformer hybrides, qui combinent des blocs d'attention softmax et des réseaux de neurones récurrents (RNN), ont démontré un compromis performance-débit intéressant pour la modélisation de contextes longs. Cependant, leur adoption et leur étude sont entravées par le coût prohibitif du pré-entraînement à grande échelle à partir de zéro. Certaines études récentes ont montré que des blocs d'attention softmax pré-entraînés peuvent être convertis en blocs RNN via un transfert de paramètres et une distillation de connaissances. Néanmoins, ces méthodes de transfert nécessitent des quantités substantielles de données d'entraînement (plus de 10 milliards de tokens), et les modèles hybrides résultants présentent également de faibles performances sur les contextes longs, un scénario pourtant clé où ces modèles offrent des accélérations significatives à l'inférence par rapport aux modèles basés sur Transformer. Dans cet article, nous présentons HALO (Hybrid Attention via Layer Optimization), un pipeline pour distiller des modèles Transformer en modèles hybrides RNN-attention. Nous présentons ensuite HypeNet, une architecture hybride dotée d'une généralisation en longueur supérieure, rendue possible par un nouveau schéma de codage positionnel (nommé HyPE) et diverses modifications architecturales. Nous convertissons la série Qwen3 en HypeNet en utilisant HALO, obtenant des performances comparables aux modèles Transformer originaux tout en bénéficiant de performances et d'une efficacité supérieures sur les contextes longs. Cette conversion nécessite seulement 2,3 milliards de tokens, soit moins de 0,01 % de leurs données de pré-entraînement.

English

Hybrid Transformer architectures, which combine softmax attention blocks and recurrent neural networks (RNNs), have shown a desirable performance-throughput tradeoff for long-context modeling, but their adoption and studies are hindered by the prohibitive cost of large-scale pre-training from scratch. Some recent studies have shown that pre-trained softmax attention blocks can be converted into RNN blocks through parameter transfer and knowledge distillation. However, these transfer methods require substantial amounts of training data (more than 10B tokens), and the resulting hybrid models also exhibit poor long-context performance, which is the scenario where hybrid models enjoy significant inference speedups over Transformer-based models. In this paper, we present HALO (Hybrid Attention via Layer Optimization), a pipeline for distilling Transformer models into RNN-attention hybrid models. We then present HypeNet, a hybrid architecture with superior length generalization enabled by a novel position encoding scheme (named HyPE) and various architectural modifications. We convert the Qwen3 series into HypeNet using HALO, achieving performance comparable to the original Transformer models while enjoying superior long-context performance and efficiency. The conversion requires just 2.3B tokens, less than 0.01% of their pre-training data