PAROAttention: Reordenação Consciente de Padrões para Atenção Eficiente e Esparsa e Quantizada em Modelos de Geração Visual

PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models

June 19, 2025

Autores: Tianchen Zhao, Ke Hong, Xinhao Yang, Xuefeng Xiao, Huixia Li, Feng Ling, Ruiqi Xie, Siqi Chen, Hongyu Zhu, Yichong Zhang, Yu Wang

cs.AI

Resumo

Na geração visual, a complexidade quadrática dos mecanismos de atenção resulta em altos custos de memória e computação, especialmente para sequências de tokens mais longas necessárias na geração de imagens de alta resolução ou vídeos com múltiplos quadros. Para abordar isso, pesquisas anteriores exploraram técnicas como esparsificação e quantização. No entanto, essas técnicas enfrentam desafios significativos sob baixa densidade e largura de bits reduzida. Através de uma análise sistemática, identificamos que a dificuldade central decorre das características dispersas e irregulares dos padrões de atenção visual. Portanto, em vez de introduzir um design especializado de esparsificação e quantização para acomodar tais padrões, propomos uma estratégia alternativa: *reorganizar* o padrão de atenção para aliviar os desafios. Inspirados pela natureza de agregação local da extração de características visuais, projetamos uma nova técnica **Pattern-Aware token ReOrdering (PARO)**, que unifica os diversos padrões de atenção em um padrão em blocos amigável ao hardware. Essa unificação simplifica e aprimora substancialmente tanto a esparsificação quanto a quantização. Avaliamos as compensações entre desempenho e eficiência de várias escolhas de design e finalizamos uma metodologia adaptada ao padrão unificado. Nossa abordagem, **PAROAttention**, alcança a geração de vídeos e imagens com métricas sem perdas e resultados quase idênticos aos baselines de precisão completa (FP), enquanto opera em densidades notavelmente mais baixas (~20%-30%) e largura de bits (**INT8/INT4**), obtendo uma aceleração de latência de ponta a ponta de **1,9x** a **2,7x**.

English

In visual generation, the quadratic complexity of attention mechanisms results in high memory and computational costs, especially for longer token sequences required in high-resolution image or multi-frame video generation. To address this, prior research has explored techniques such as sparsification and quantization. However, these techniques face significant challenges under low density and reduced bitwidths. Through systematic analysis, we identify that the core difficulty stems from the dispersed and irregular characteristics of visual attention patterns. Therefore, instead of introducing specialized sparsification and quantization design to accommodate such patterns, we propose an alternative strategy: *reorganizing* the attention pattern to alleviate the challenges. Inspired by the local aggregation nature of visual feature extraction, we design a novel **Pattern-Aware token ReOrdering (PARO)** technique, which unifies the diverse attention patterns into a hardware-friendly block-wise pattern. This unification substantially simplifies and enhances both sparsification and quantization. We evaluate the performance-efficiency trade-offs of various design choices and finalize a methodology tailored for the unified pattern. Our approach, **PAROAttention**, achieves video and image generation with lossless metrics, and nearly identical results from full-precision (FP) baselines, while operating at notably lower density (~20%-30%) and bitwidth (**INT8/INT4**), achieving a **1.9x** to **2.7x** end-to-end latency speedup.