Native Hybride Aandacht voor Efficiënte Sequentiële Modellering

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

Auteurs: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

Samenvatting

Transformers blinken uit in sequentiemodellering, maar kampen met kwadratische complexiteit, terwijl lineaire aandacht verbeterde efficiëntie biedt, maar vaak inboet aan herinneringsnauwkeurigheid over lange contexten. In dit werk introduceren we Native Hybrid Attention (NHA), een nieuwe hybride architectuur van lineaire en volledige aandacht die zowel intra- als interlaaghybridisatie integreert in een uniforme laagontwerp. NHA behoudt langetermijncontext in sleutel-waardeslots die worden bijgewerkt door een lineaire RNN, en verrijkt deze met kortetermijntokens uit een schuifvenster. Vervolgens wordt een enkele softmax-aandachtsoperatie toegepast op alle sleutels en waarden, waardoor contextafhankelijke weging per token en per hoofd mogelijk wordt zonder extra fusieparameters. Het interlaaggedrag wordt geregeld via een enkele hyperparameter, de grootte van het schuifvenster, waarmee soepel kan worden geschakeld tussen puur lineaire en volledige aandacht, terwijl alle lagen structureel uniform blijven. Experimentele resultaten tonen aan dat NHA Transformers en andere hybride referentiemodellen overtreft bij taken die intensief gebruikmaken van herinnering en gezond verstand. Bovendien kunnen voorgetrainde LLM's structureel worden gehybridiseerd met NHA, wat competitieve nauwkeurigheid oplevert terwijl aanzienlijke efficiëntiewinsten worden behaald. Code is beschikbaar op https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.