Эластичное внимание: адаптивные коэффициенты разреженности во время тестирования для эффективных трансформеров

Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers

January 24, 2026

Авторы: Zecheng Tang, Quantong Qiu, Yi Yang, Zhiyi Hong, Haiya Xiang, Kebin Liu, Qingqing Dang, Juntao Li, Min Zhang

cs.AI

Аннотация

Квадратичная сложность стандартных механизмов внимания создает серьезное ограничение масштабируемости для больших языковых моделей (LLM) в сценариях с длинным контекстом. Хотя гибридные стратегии внимания, сочетающие разреженное и полное внимание в рамках одной модели, предлагают жизнеспособное решение, они обычно используют статические коэффициенты вычислений (т.е. фиксированные пропорции разреженного и полного внимания) и не адаптируются к различной чувствительности к разреженности downstream-задач во время вывода. Для решения этой проблемы мы предлагаем Elastic Attention — метод, позволяющий модели динамически регулировать общую разреженность на основе входных данных. Это достигается за счет интеграции легковесного Маршрутизатора Внимания в предварительно обученную модель, который динамически назначает каждому голову внимания различные вычислительные режимы. Всего за 12 часов обучения на 8 GPU A800 наш метод позволяет моделям достигать как высокой производительности, так и эффективного вывода. Эксперименты на трех бенчмарках с длинным контекстом для широко используемых LLM демонстрируют превосходство нашего метода.

English

The quadratic complexity of standard attention mechanisms poses a significant scalability bottleneck for large language models (LLMs) in long-context scenarios. While hybrid attention strategies that combine sparse and full attention within a single model offer a viable solution, they typically employ static computation ratios (i.e., fixed proportions of sparse versus full attention) and fail to adapt to the varying sparsity sensitivities of downstream tasks during inference. To address this issue, we propose Elastic Attention, which allows the model to dynamically adjust its overall sparsity based on the input. This is achieved by integrating a lightweight Attention Router into the existing pretrained model, which dynamically assigns each attention head to different computation modes. Within only 12 hours of training on 8xA800 GPUs, our method enables models to achieve both strong performance and efficient inference. Experiments across three long-context benchmarks on widely-used LLMs demonstrate the superiority of our method.