SpargeAttention2: Обучаемое разреженное внимание с помощью гибридного маскирования Top-k+Top-p и тонкой настройки дистилляцией

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning

February 13, 2026

Авторы: Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu

cs.AI

Аннотация

Многие методы разреженного внимания без обучения эффективны для ускорения диффузионных моделей. Недавно в ряде работ было предложено сделать разреженное внимание обучаемым, что позволяет дополнительно увеличить разреженность, сохраняя качество генерации. Мы исследуем три ключевых вопроса: (1) когда два распространенных правила маскирования, а именно Top-k и Top-p, дают сбой и как можно избежать этих сбоев? (2) почему обучаемое разреженное внимание может достигать более высокой разреженности, чем методы без обучения? (3) каковы ограничения тонкой настройки разреженного внимания с использованием диффузионной функции потерь и как мы можем их устранить? На основе этого анализа мы предлагаем SpargeAttention2 — метод обучаемого разреженного внимания, который достигает высокой разреженности без ухудшения качества генерации. SpargeAttention2 включает: (i) гибридное правило маскирования, сочетающее Top-k и Top-p для более устойчивого маскирования при высокой разреженности; (ii) эффективную реализацию обучаемого разреженного внимания; и (iii) цель тонкой настройки, вдохновленную дистилляцией, для лучшего сохранения качества генерации в процессе тонкой настройки с использованием разреженного внимания. Эксперименты на моделях видеодиффузии показывают, что SpargeAttention2 достигает 95% разреженности внимания и ускорения внимания в 16,2 раза при сохранении качества генерации, последовательно превосходя предыдущие методы разреженного внимания.

English

Many training-free sparse attention methods are effective for accelerating diffusion models. Recently, several works suggest that making sparse attention trainable can further increase sparsity while preserving generation quality. We study three key questions: (1) when do the two common masking rules, i.e., Top-k and Top-p, fail, and how can we avoid these failures? (2) why can trainable sparse attention reach higher sparsity than training-free methods? (3) what are the limitations of fine-tuning sparse attention using the diffusion loss, and how can we address them? Based on this analysis, we propose SpargeAttention2, a trainable sparse attention method that achieves high sparsity without degrading generation quality. SpargeAttention2 includes (i) a hybrid masking rule that combines Top-k and Top-p for more robust masking at high sparsity, (ii) an efficient trainable sparse attention implementation, and (iii) a distillation-inspired fine-tuning objective to better preserve generation quality during fine-tuning using sparse attention. Experiments on video diffusion models show that SpargeAttention2 reaches 95% attention sparsity and a 16.2x attention speedup while maintaining generation quality, consistently outperforming prior sparse attention methods.