Attention Hybride Native pour une Modélisation Efficace des Séquences

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

papers.authors: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

papers.abstract

Les Transformers excellent dans la modélisation de séquences mais sont confrontés à une complexité quadratique, tandis que l'attention linéaire offre une efficacité améliorée mais compromet souvent la précision de rappel sur des contextes longs. Dans ce travail, nous introduisons l'Attention Hybride Native (NHA), une nouvelle architecture hybride combinant l'attention linéaire et complète, intégrant à la fois une hybridation intra et inter-couches dans un design de couche unifié. NHA maintient le contexte à long terme dans des emplacements clé-valeur mis à jour par un RNN linéaire, et les enrichit avec des tokens à court terme provenant d'une fenêtre glissante. Une seule opération d'attention softmax est ensuite appliquée sur toutes les clés et valeurs, permettant une pondération contextuelle par token et par tête sans nécessiter de paramètres de fusion supplémentaires. Le comportement inter-couches est contrôlé par un seul hyperparamètre, la taille de la fenêtre glissante, qui permet un ajustement fluide entre une attention purement linéaire et complète tout en maintenant toutes les couches structurellement uniformes. Les résultats expérimentaux montrent que NHA surpasse les Transformers et d'autres modèles hybrides de référence sur des tâches intensives en rappel et en raisonnement de bon sens. De plus, les LLM pré-entraînés peuvent être structurellement hybridés avec NHA, atteignant une précision compétitive tout en offrant des gains d'efficacité significatifs. Le code est disponible à l'adresse https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.