Atenção Elástica: Proporções de Esparsidade Adaptáveis em Tempo de Teste para Transformers Eficientes
Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers
January 24, 2026
Autores: Zecheng Tang, Quantong Qiu, Yi Yang, Zhiyi Hong, Haiya Xiang, Kebin Liu, Qingqing Dang, Juntao Li, Min Zhang
cs.AI
Resumo
A complexidade quadrática dos mecanismos de atenção padrão representa um significativo gargalo de escalabilidade para grandes modelos de linguagem (LLMs) em cenários de contexto longo. Embora estratégias de atenção híbrida, que combinam atenção esparsa e completa dentro de um único modelo, ofereçam uma solução viável, elas geralmente empregam proporções de computação estáticas (ou seja, proporções fixas de atenção esparsa versus completa) e não se adaptam às variadas sensibilidades de esparsidade das tarefas downstream durante a inferência. Para resolver esta questão, propomos a Atenção Elástica, que permite ao modelo ajustar dinamicamente sua esparsidade geral com base na entrada. Isto é alcançado através da integração de um Roteador de Atenção leve no modelo pré-treinado existente, que atribui dinamicamente cada cabeça de atenção a diferentes modos de computação. Com apenas 12 horas de treinamento em 8 GPUs A800, o nosso método permite que os modelos alcancem tanto um forte desempenho quanto uma inferência eficiente. Experimentos em três benchmarks de contexto longo, realizados em LLMs amplamente utilizados, demonstram a superioridade do nosso método.
English
The quadratic complexity of standard attention mechanisms poses a significant scalability bottleneck for large language models (LLMs) in long-context scenarios. While hybrid attention strategies that combine sparse and full attention within a single model offer a viable solution, they typically employ static computation ratios (i.e., fixed proportions of sparse versus full attention) and fail to adapt to the varying sparsity sensitivities of downstream tasks during inference. To address this issue, we propose Elastic Attention, which allows the model to dynamically adjust its overall sparsity based on the input. This is achieved by integrating a lightweight Attention Router into the existing pretrained model, which dynamically assigns each attention head to different computation modes. Within only 12 hours of training on 8xA800 GPUs, our method enables models to achieve both strong performance and efficient inference. Experiments across three long-context benchmarks on widely-used LLMs demonstrate the superiority of our method.