Atenção Híbrida Nativa para Modelagem Eficiente de Sequências

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

Autores: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

Resumo

Os Transformers se destacam na modelagem de sequências, mas enfrentam complexidade quadrática, enquanto a atenção linear oferece eficiência aprimorada, mas frequentemente compromete a precisão de recall em contextos longos. Neste trabalho, introduzimos a Atenção Híbrida Nativa (NHA), uma nova arquitetura híbrida de atenção linear e completa que integra hibridização intra e inter-camadas em um design unificado de camada. A NHA mantém o contexto de longo prazo em slots de chave-valor atualizados por um RNN linear e os complementa com tokens de curto prazo de uma janela deslizante. Uma única operação de atenção softmax é então aplicada sobre todas as chaves e valores, permitindo ponderação dependente do contexto por token e por cabeça sem a necessidade de parâmetros de fusão adicionais. O comportamento inter-camadas é controlado por um único hiperparâmetro, o tamanho da janela deslizante, que permite ajuste suave entre atenção puramente linear e completa, mantendo todas as camadas estruturalmente uniformes. Resultados experimentais mostram que a NHA supera os Transformers e outras baselines híbridas em tarefas intensivas de recall e raciocínio de senso comum. Além disso, LLMs pré-treinados podem ser hibridizados estruturalmente com a NHA, alcançando precisão competitiva enquanto oferecem ganhos significativos de eficiência. O código está disponível em https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.