LiteAttention: Uma Atenção Temporal Esparsa para Transformadores de Difusão

LiteAttention: A Temporal Sparse Attention for Diffusion Transformers

November 14, 2025

Autores: Dor Shmilovich, Tony Wu, Aviad Dahan, Yuval Domb

cs.AI

Resumo

Os Transformadores de Difusão, particularmente para geração de vídeo, alcançam qualidade notável, mas sofrem com a complexidade quadrática da atenção, resultando em latência proibitiva. Os métodos de aceleração existentes enfrentam um trade-off fundamental: estimar dinamicamente padrões esparsos de atenção em cada etapa de remoção de ruído incorre em alta sobrecarga computacional e erros de estimativa, enquanto padrões estáticos de esparsidade permanecem fixos e frequentemente subótimos durante todo o processo. Identificamos uma propriedade estrutural fundamental da atenção por difusão: seus padrões de esparsidade exibem forte coerência temporal entre as etapas de remoção de ruído. Blocos considerados não essenciais na etapa t geralmente permanecem assim na etapa t+δ. Aproveitando essa observação, introduzimos o LiteAttention, um método que explora a coerência temporal para permitir saltos computacionais evolutivos ao longo da sequência de remoção de ruído. Ao marcar blocos não essenciais precocemente e propagar decisões de salto adiante, o LiteAttention elimina cálculos de atenção redundantes sem sobrecargas de perfilamento repetitivas, combinando a adaptabilidade dos métodos dinâmicos com a eficiência dos estáticos. Implementamos um kernel LiteAttention altamente otimizado sobre o FlashAttention e demonstramos acelerações substanciais em modelos de difusão de vídeo de produção, sem degradação de qualidade. O código e detalhes de implementação serão disponibilizados publicamente.

English

Diffusion Transformers, particularly for video generation, achieve remarkable quality but suffer from quadratic attention complexity, leading to prohibitive latency. Existing acceleration methods face a fundamental trade-off: dynamically estimating sparse attention patterns at each denoising step incurs high computational overhead and estimation errors, while static sparsity patterns remain fixed and often suboptimal throughout denoising. We identify a key structural property of diffusion attention, namely, its sparsity patterns exhibit strong temporal coherence across denoising steps. Tiles deemed non-essential at step t typically remain so at step t+δ. Leveraging this observation, we introduce LiteAttention, a method that exploits temporal coherence to enable evolutionary computation skips across the denoising sequence. By marking non-essential tiles early and propagating skip decisions forward, LiteAttention eliminates redundant attention computations without repeated profiling overheads, combining the adaptivity of dynamic methods with the efficiency of static ones. We implement a highly optimized LiteAttention kernel on top of FlashAttention and demonstrate substantial speedups on production video diffusion models, with no degradation in quality. The code and implementation details will be publicly released.