Гибридное линейное внимание, реализованное правильно: эффективное дистилляция и результативные архитектуры для сверхдлинных контекстов

Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts

January 29, 2026

Авторы: Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu

cs.AI

Аннотация

Гибридные архитектуры Transformer, сочетающие блоки внимания со softmax и рекуррентные нейронные сети (RNN), демонстрируют оптимальный баланс между производительностью и пропускной способностью при моделировании длинных контекстов, однако их внедрению и изучению препятствуют запредельные затраты на крупномасштабное предварительное обучение с нуля. Некоторые недавние исследования показали, что предобученные блоки внимания со softmax можно преобразовать в RNN-блоки посредством передачи параметров и дистилляции знаний. Однако эти методы передачи требуют значительных объемов обучающих данных (более 10 млрд токенов), а результирующие гибридные модели также демонстрируют низкую производительность на длинных контекстах — как раз в тех сценариях, где гибридные модели обладают значительным преимуществом в скорости вывода по сравнению с моделями на основе Transformer. В данной статье мы представляем HALO (Hybrid Attention via Layer Optimization) — конвейер для дистилляции моделей Transformer в гибридные модели RNN-внимание. Затем мы представляем HypeNet — гибридную архитектуру с превосходной генерализацией на длинных последовательностях, обеспеченной новой схемой позиционного кодирования (названной HyPE) и различными архитектурными модификациями. Мы преобразуем серию Qwen3 в HypeNet с помощью HALO, достигая производительности, сопоставимой с исходными моделями Transformer, при этом демонстрируя превосходные показатели на длинных контекстах и эффективность. Преобразование требует всего 2,3 млрд токенов, что составляет менее 0,01% от их данных предварительного обучения.

English

Hybrid Transformer architectures, which combine softmax attention blocks and recurrent neural networks (RNNs), have shown a desirable performance-throughput tradeoff for long-context modeling, but their adoption and studies are hindered by the prohibitive cost of large-scale pre-training from scratch. Some recent studies have shown that pre-trained softmax attention blocks can be converted into RNN blocks through parameter transfer and knowledge distillation. However, these transfer methods require substantial amounts of training data (more than 10B tokens), and the resulting hybrid models also exhibit poor long-context performance, which is the scenario where hybrid models enjoy significant inference speedups over Transformer-based models. In this paper, we present HALO (Hybrid Attention via Layer Optimization), a pipeline for distilling Transformer models into RNN-attention hybrid models. We then present HypeNet, a hybrid architecture with superior length generalization enabled by a novel position encoding scheme (named HyPE) and various architectural modifications. We convert the Qwen3 series into HypeNet using HALO, achieving performance comparable to the original Transformer models while enjoying superior long-context performance and efficiency. The conversion requires just 2.3B tokens, less than 0.01% of their pre-training data