PAROAttention: Reordenamiento Consciente de Patrones para una Atención Escasa y Cuantificada Eficiente en Modelos de Generación Visual
PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models
June 19, 2025
Autores: Tianchen Zhao, Ke Hong, Xinhao Yang, Xuefeng Xiao, Huixia Li, Feng Ling, Ruiqi Xie, Siqi Chen, Hongyu Zhu, Yichong Zhang, Yu Wang
cs.AI
Resumen
En la generación visual, la complejidad cuadrática de los mecanismos de atención resulta en altos costos de memoria y computación, especialmente para secuencias de tokens más largas requeridas en la generación de imágenes de alta resolución o videos de múltiples fotogramas. Para abordar esto, investigaciones previas han explorado técnicas como la esparsificación y la cuantización. Sin embargo, estas técnicas enfrentan desafíos significativos bajo baja densidad y anchos de bits reducidos. A través de un análisis sistemático, identificamos que la dificultad central proviene de las características dispersas e irregulares de los patrones de atención visual. Por lo tanto, en lugar de introducir diseños especializados de esparsificación y cuantización para acomodar dichos patrones, proponemos una estrategia alternativa: *reorganizar* el patrón de atención para aliviar los desafíos. Inspirados por la naturaleza de agregación local de la extracción de características visuales, diseñamos una novedosa técnica **Reordenamiento de Tokens Consciente del Patrón (PARO)**, que unifica los diversos patrones de atención en un patrón en bloques amigable para el hardware. Esta unificación simplifica y mejora sustancialmente tanto la esparsificación como la cuantización. Evaluamos las compensaciones entre rendimiento y eficiencia de varias opciones de diseño y finalizamos una metodología adaptada para el patrón unificado. Nuestro enfoque, **PAROAttention**, logra la generación de videos e imágenes con métricas sin pérdida y resultados casi idénticos a los de las líneas base de precisión completa (FP), mientras opera con una densidad notablemente menor (~20%-30%) y anchos de bits (**INT8/INT4**), alcanzando una aceleración de latencia de extremo a extremo de **1.9x** a **2.7x**.
English
In visual generation, the quadratic complexity of attention mechanisms
results in high memory and computational costs, especially for longer token
sequences required in high-resolution image or multi-frame video generation. To
address this, prior research has explored techniques such as sparsification and
quantization. However, these techniques face significant challenges under low
density and reduced bitwidths. Through systematic analysis, we identify that
the core difficulty stems from the dispersed and irregular characteristics of
visual attention patterns. Therefore, instead of introducing specialized
sparsification and quantization design to accommodate such patterns, we propose
an alternative strategy: *reorganizing* the attention pattern to alleviate the
challenges. Inspired by the local aggregation nature of visual feature
extraction, we design a novel **Pattern-Aware token ReOrdering (PARO)**
technique, which unifies the diverse attention patterns into a
hardware-friendly block-wise pattern. This unification substantially simplifies
and enhances both sparsification and quantization. We evaluate the
performance-efficiency trade-offs of various design choices and finalize a
methodology tailored for the unified pattern. Our approach, **PAROAttention**,
achieves video and image generation with lossless metrics, and nearly identical
results from full-precision (FP) baselines, while operating at notably lower
density (~20%-30%) and bitwidth (**INT8/INT4**), achieving a **1.9x** to
**2.7x** end-to-end latency speedup.