Native Hybrid Attention für effiziente Sequenzmodellierung

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

papers.authors: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

papers.abstract

Transformer sind hervorragend in der Sequenzmodellierung, stoßen jedoch auf quadratische Komplexität, während lineare Aufmerksamkeit eine verbesserte Effizienz bietet, aber oft die Erinnerungsgenauigkeit über lange Kontexte beeinträchtigt. In dieser Arbeit stellen wir Native Hybrid Attention (NHA) vor, eine neuartige hybride Architektur aus linearer und vollständiger Aufmerksamkeit, die sowohl intra- als auch inter-schichtige Hybridisierung in ein einheitliches Schichtdesign integriert. NHA behält langfristige Kontexte in Schlüssel-Wert-Slots bei, die durch ein lineares RNN aktualisiert werden, und ergänzt sie durch kurzfristige Token aus einem gleitenden Fenster. Eine einzelne Softmax-Aufmerksamkeitsoperation wird dann auf alle Schlüssel und Werte angewendet, wodurch eine kontextabhängige Gewichtung pro Token und pro Kopf ermöglicht wird, ohne zusätzliche Fusionsparameter zu benötigen. Das inter-schichtige Verhalten wird durch einen einzigen Hyperparameter, die Größe des gleitenden Fensters, gesteuert, was eine sanfte Anpassung zwischen rein linearer und vollständiger Aufmerksamkeit ermöglicht, während alle Schichten strukturell einheitlich bleiben. Experimentelle Ergebnisse zeigen, dass NHA Transformer und andere hybride Baselines bei erinnerungsintensiven und gesunden Menschenverstand-Aufgaben übertrifft. Darüber hinaus können vortrainierte LLMs strukturell mit NHA hybridisiert werden, wodurch eine wettbewerbsfähige Genauigkeit bei gleichzeitig erheblichen Effizienzgewinnen erreicht wird. Der Code ist verfügbar unter https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.