Elastische Aufmerksamkeit: Testzeit-adaptive Sparsigkeitsverhältnisse für effiziente Transformer
Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers
January 24, 2026
papers.authors: Zecheng Tang, Quantong Qiu, Yi Yang, Zhiyi Hong, Haiya Xiang, Kebin Liu, Qingqing Dang, Juntao Li, Min Zhang
cs.AI
papers.abstract
Die quadratische Komplexität standardmäßiger Aufmerksamkeitsmechanismen stellt eine erhebliche Skalierbarkeitshürde für große Sprachmodelle (LLMs) in Langkontext-Szenarien dar. Während hybride Aufmerksamkeitsstrategien, die spärliche und vollständige Aufmerksamkeit innerhalb eines einzelnen Modells kombinieren, eine praktikable Lösung bieten, verwenden sie typischerweise statische Berechnungsverhältnisse (d.h. feste Anteile von spärlicher versus vollständiger Aufmerksamkeit) und passen sich nicht an die variierenden Sparsamkeitsempfindlichkeiten nachgelagerter Aufgaben während der Inferenz an. Um dieses Problem zu lösen, schlagen wir Elastic Attention vor, das es dem Modell ermöglicht, seine Gesamtsparsamkeit dynamisch basierend auf der Eingabe anzupassen. Dies wird durch die Integration eines leichtgewichtigen Attention Routers in das vorhandene vortrainierte Modell erreicht, der jeden Aufmerksamkeitskopf dynamisch verschiedenen Berechnungsmodi zuweist. Mit nur 12 Stunden Training auf 8xA800 GPUs ermöglicht unsere Methode Modellen, sowohl hohe Leistung als auch effiziente Inferenz zu erreichen. Experimente über drei Langkontext-Benchmarks mit weit verbreiteten LLMs demonstrieren die Überlegenheit unserer Methode.
English
The quadratic complexity of standard attention mechanisms poses a significant scalability bottleneck for large language models (LLMs) in long-context scenarios. While hybrid attention strategies that combine sparse and full attention within a single model offer a viable solution, they typically employ static computation ratios (i.e., fixed proportions of sparse versus full attention) and fail to adapt to the varying sparsity sensitivities of downstream tasks during inference. To address this issue, we propose Elastic Attention, which allows the model to dynamically adjust its overall sparsity based on the input. This is achieved by integrating a lightweight Attention Router into the existing pretrained model, which dynamically assigns each attention head to different computation modes. Within only 12 hours of training on 8xA800 GPUs, our method enables models to achieve both strong performance and efficient inference. Experiments across three long-context benchmarks on widely-used LLMs demonstrate the superiority of our method.