LiteAttention: un'attenzione sparsa temporale per i trasformatori di diffusione

LiteAttention: A Temporal Sparse Attention for Diffusion Transformers

November 14, 2025

Autori: Dor Shmilovich, Tony Wu, Aviad Dahan, Yuval Domb

cs.AI

Abstract

I Diffusion Transformer, in particolare per la generazione video, raggiungono una qualità notevole ma soffrono di una complessità quadratica dell'attenzione, che porta a una latenza proibitiva. I metodi di accelerazione esistenti affrontano un compromesso fondamentale: stimare dinamicamente pattern di attenzione sparsi ad ogni passo di denoising comporta un elevato sovraccarico computazionale e errori di stima, mentre pattern di sparsità statici rimangono fissi e spesso subottimali durante l'intero processo di denoising. Identifichiamo una proprietà strutturale chiave dell'attenzione nei modelli diffusion, ovvero il fatto che i suoi pattern di sparsità mostrano una forte coerenza temporale attraverso i passi di denoising. I riquadri (tile) considerati non essenziali al passo t tipicamente rimangono tali al passo t+δ. Sfruttando questa osservazione, introduciamo LiteAttention, un metodo che utilizza la coerenza temporale per abilitare salti computazionali evolutivi attraverso la sequenza di denoising. Contrassegnando precocemente i riquadri non essenziali e propagando in avanti le decisioni di salto, LiteAttention elimina i calcoli ridondanti di attenzione senza i sovraccarichi della profilazione ripetuta, combinando l'adattività dei metodi dinamici con l'efficienza di quelli statici. Implementiamo un kernel LiteAttention altamente ottimizzato basato su FlashAttention e dimostriamo accelerazioni sostanziali su modelli diffusion video di produzione, senza alcuna degradazione della qualità. Il codice e i dettagli implementativi saranno rilasciati pubblicamente.

English

Diffusion Transformers, particularly for video generation, achieve remarkable quality but suffer from quadratic attention complexity, leading to prohibitive latency. Existing acceleration methods face a fundamental trade-off: dynamically estimating sparse attention patterns at each denoising step incurs high computational overhead and estimation errors, while static sparsity patterns remain fixed and often suboptimal throughout denoising. We identify a key structural property of diffusion attention, namely, its sparsity patterns exhibit strong temporal coherence across denoising steps. Tiles deemed non-essential at step t typically remain so at step t+δ. Leveraging this observation, we introduce LiteAttention, a method that exploits temporal coherence to enable evolutionary computation skips across the denoising sequence. By marking non-essential tiles early and propagating skip decisions forward, LiteAttention eliminates redundant attention computations without repeated profiling overheads, combining the adaptivity of dynamic methods with the efficiency of static ones. We implement a highly optimized LiteAttention kernel on top of FlashAttention and demonstrate substantial speedups on production video diffusion models, with no degradation in quality. The code and implementation details will be publicly released.