SpargeAttention2: Attenzione Sparsa Addestrabile tramite Mascheramento Ibrido Top-k+Top-p e Fine-Tuning per Distillazione

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning

February 13, 2026

Autori: Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu

cs.AI

Abstract

Molti metodi di attenzione sparsa non addestrabili si dimostrano efficaci per accelerare i modelli di diffusione. Recentemente, diversi lavori suggeriscono che rendere l'attenzione sparsa addestrabile possa ulteriormente aumentare la sparsità preservando la qualità generativa. Studiamo tre questioni chiave: (1) quando falliscono le due comuni regole di mascheramento, Top-k e Top-p, e come possiamo evitare tali fallimenti? (2) perché l'attenzione sparsa addestrabile può raggiungere una sparsità maggiore rispetto ai metodi non addestrabili? (3) quali sono i limiti del fine-tuning dell'attenzione sparsa utilizzando la loss di diffusione, e come possiamo affrontarli? Sulla base di questa analisi, proponiamo SpargeAttention2, un metodo di attenzione sparsa addestrabile che raggiunge un'elevata sparsità senza degradare la qualità generativa. SpargeAttention2 include (i) una regola di mascheramento ibrida che combina Top-k e Top-p per un mascheramento più robusto ad alta sparsità, (ii) un'implementazione efficiente dell'attenzione sparsa addestrabile, e (iii) un obiettivo di fine-tuning ispirato alla distillazione per preservare meglio la qualità generativa durante il fine-tuning con attenzione sparsa. Esperimenti su modelli di diffusione video mostrano che SpargeAttention2 raggiunge il 95% di sparsità dell'attenzione e un'accelerazione dell'attenzione di 16,2x mantenendo la qualità generativa, superando costantemente i precedenti metodi di attenzione sparsa.

English

Many training-free sparse attention methods are effective for accelerating diffusion models. Recently, several works suggest that making sparse attention trainable can further increase sparsity while preserving generation quality. We study three key questions: (1) when do the two common masking rules, i.e., Top-k and Top-p, fail, and how can we avoid these failures? (2) why can trainable sparse attention reach higher sparsity than training-free methods? (3) what are the limitations of fine-tuning sparse attention using the diffusion loss, and how can we address them? Based on this analysis, we propose SpargeAttention2, a trainable sparse attention method that achieves high sparsity without degrading generation quality. SpargeAttention2 includes (i) a hybrid masking rule that combines Top-k and Top-p for more robust masking at high sparsity, (ii) an efficient trainable sparse attention implementation, and (iii) a distillation-inspired fine-tuning objective to better preserve generation quality during fine-tuning using sparse attention. Experiments on video diffusion models show that SpargeAttention2 reaches 95% attention sparsity and a 16.2x attention speedup while maintaining generation quality, consistently outperforming prior sparse attention methods.