Atención Híbrida Nativa para el Modelado Eficiente de Secuencias

Native Hybrid Attention for Efficient Sequence Modeling

October 8, 2025

Autores: Jusen Du, Jiaxi Hu, Tao Zhang, Weigao Sun, Yu Cheng

cs.AI

Resumen

Los Transformers sobresalen en el modelado de secuencias, pero enfrentan una complejidad cuadrática, mientras que la atención lineal ofrece una mayor eficiencia, aunque a menudo compromete la precisión de recuperación en contextos largos. En este trabajo, presentamos Native Hybrid Attention (NHA), una arquitectura híbrida novedosa que combina atención lineal y atención completa, integrando tanto la hibridación intra como inter-capa en un diseño de capa unificado. NHA mantiene el contexto a largo plazo en ranuras clave-valor actualizadas por un RNN lineal, y las complementa con tokens a corto plazo provenientes de una ventana deslizante. Luego, se aplica una única operación de atención softmax sobre todas las claves y valores, permitiendo una ponderación dependiente del contexto por token y por cabeza sin requerir parámetros de fusión adicionales. El comportamiento inter-capa se controla mediante un único hiperparámetro, el tamaño de la ventana deslizante, lo que permite un ajuste suave entre atención puramente lineal y completa, manteniendo todas las capas estructuralmente uniformes. Los resultados experimentales muestran que NHA supera a los Transformers y otros modelos híbridos de referencia en tareas intensivas de recuperación y razonamiento de sentido común. Además, los LLM preentrenados pueden hibridarse estructuralmente con NHA, logrando una precisión competitiva mientras ofrecen ganancias significativas en eficiencia. El código está disponible en https://github.com/JusenD/NHA.

English

Transformers excel at sequence modeling but face quadratic complexity, while linear attention offers improved efficiency but often compromises recall accuracy over long contexts. In this work, we introduce Native Hybrid Attention (NHA), a novel hybrid architecture of linear and full attention that integrates both intra \& inter-layer hybridization into a unified layer design. NHA maintains long-term context in key-value slots updated by a linear RNN, and augments them with short-term tokens from a sliding window. A single softmax attention operation is then applied over all keys and values, enabling per-token and per-head context-dependent weighting without requiring additional fusion parameters. The inter-layer behavior is controlled through a single hyperparameter, the sliding window size, which allows smooth adjustment between purely linear and full attention while keeping all layers structurally uniform. Experimental results show that NHA surpasses Transformers and other hybrid baselines on recall-intensive and commonsense reasoning tasks. Furthermore, pretrained LLMs can be structurally hybridized with NHA, achieving competitive accuracy while delivering significant efficiency gains. Code is available at https://github.com/JusenD/NHA.