Attenzione Elastica: Rapporti di Sparsità Adattativi al Momento del Test per Trasformatori Efficienti
Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers
January 24, 2026
Autori: Zecheng Tang, Quantong Qiu, Yi Yang, Zhiyi Hong, Haiya Xiang, Kebin Liu, Qingqing Dang, Juntao Li, Min Zhang
cs.AI
Abstract
La complessità quadratica dei meccanismi di attenzione standard rappresenta un significativo collo di bottiglia per la scalabilità dei grandi modelli linguistici (LLM) negli scenari a contesto lungo. Sebbene le strategie di attenzione ibrida, che combinano attenzione sparsa e completa all'interno di un singolo modello, offrano una soluzione valida, esse tipicamente impiegano rapporti di calcolo statici (ovvero proporzioni fisse tra attenzione sparsa e completa) e non si adattano alle variabili sensibilità alla sparsità dei task downstream durante l'inferenza. Per affrontare questo problema, proponiamo Elastic Attention, che consente al modello di regolare dinamicamente la propria sparsità complessiva in base all'input. Questo risultato è ottenuto integrando un leggero Attention Router nel modello preaddestrato esistente, che assegna dinamicamente ogni testa di attenzione a diverse modalità di calcolo. Con soltanto 12 ore di addestramento su 8 GPU A800, il nostro metodo consente ai modelli di raggiungere sia prestazioni solide che un'inferenza efficiente. Esperimenti condotti su tre benchmark a contesto lungo, utilizzando LLM ampiamente diffusi, dimostrano la superiorità del nostro metodo.
English
The quadratic complexity of standard attention mechanisms poses a significant scalability bottleneck for large language models (LLMs) in long-context scenarios. While hybrid attention strategies that combine sparse and full attention within a single model offer a viable solution, they typically employ static computation ratios (i.e., fixed proportions of sparse versus full attention) and fail to adapt to the varying sparsity sensitivities of downstream tasks during inference. To address this issue, we propose Elastic Attention, which allows the model to dynamically adjust its overall sparsity based on the input. This is achieved by integrating a lightweight Attention Router into the existing pretrained model, which dynamically assigns each attention head to different computation modes. Within only 12 hours of training on 8xA800 GPUs, our method enables models to achieve both strong performance and efficient inference. Experiments across three long-context benchmarks on widely-used LLMs demonstrate the superiority of our method.