Attenzione Ibrida Nativa per una Modellizzazione Efficiente delle Sequenze

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

Autori: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

Abstract

I Transformer eccellono nella modellazione di sequenze ma devono affrontare una complessità quadratica, mentre l'attenzione lineare offre una maggiore efficienza ma spesso compromette l'accuratezza del richiamo su contesti lunghi. In questo lavoro, introduciamo la Native Hybrid Attention (NHA), una nuova architettura ibrida che combina l'attenzione lineare e completa, integrando sia l'ibridazione intra che inter-strato in un design di livello unificato. NHA mantiene il contesto a lungo termine in slot chiave-valore aggiornati da una RNN lineare e li arricchisce con token a breve termine provenienti da una finestra scorrevole. Un'unica operazione di attenzione softmax viene quindi applicata su tutte le chiavi e i valori, consentendo una ponderazione dipendente dal contesto per token e per testa senza richiedere parametri di fusione aggiuntivi. Il comportamento inter-strato è controllato da un singolo iperparametro, la dimensione della finestra scorrevole, che consente un aggiustamento graduale tra l'attenzione puramente lineare e completa mantenendo tutti gli strati strutturalmente uniformi. I risultati sperimentali mostrano che NHA supera i Transformer e altri baseline ibridi in compiti intensivi di richiamo e di ragionamento di senso comune. Inoltre, i LLM preaddestrati possono essere strutturalmente ibridati con NHA, raggiungendo un'accuratezza competitiva mentre offrono significativi guadagni di efficienza. Il codice è disponibile all'indirizzo https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.