Нативное гибридное внимание для эффективного моделирования последовательностей

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

Авторы: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

Аннотация

Трансформеры демонстрируют превосходные результаты в моделировании последовательностей, но сталкиваются с квадратичной сложностью, в то время как линейное внимание предлагает улучшенную эффективность, но часто жертвует точностью воспроизведения в длинных контекстах. В данной работе мы представляем Native Hybrid Attention (NHA) — новую гибридную архитектуру, объединяющую линейное и полное внимание, которая интегрирует как внутрислойную, так и межслойную гибридизацию в единый дизайн слоя. NHA сохраняет долгосрочный контекст в ключевых и значениивых слотах, обновляемых линейной RNN, и дополняет их краткосрочными токенами из скользящего окна. Затем применяется единая операция softmax-внимания ко всем ключам и значениям, что позволяет осуществлять контекстно-зависимое взвешивание для каждого токена и каждой головы без необходимости в дополнительных параметрах слияния. Межслойное поведение контролируется с помощью одного гиперпараметра — размера скользящего окна, что позволяет плавно регулировать переход между чисто линейным и полным вниманием, сохраняя структурную однородность всех слоев. Экспериментальные результаты показывают, что NHA превосходит трансформеры и другие гибридные базовые модели на задачах, требующих интенсивного воспроизведения и здравого смысла. Кроме того, предобученные крупные языковые модели (LLM) могут быть структурно гибридизированы с NHA, достигая конкурентоспособной точности при значительном повышении эффективности. Код доступен по адресу https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.