PAROAttention: Musterbewusste Neuordnung für effiziente spärliche und quantisierte Aufmerksamkeit in visuellen Generierungsmodellen

PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models

June 19, 2025

Autoren: Tianchen Zhao, Ke Hong, Xinhao Yang, Xuefeng Xiao, Huixia Li, Feng Ling, Ruiqi Xie, Siqi Chen, Hongyu Zhu, Yichong Zhang, Yu Wang

cs.AI

Zusammenfassung

In der visuellen Generierung führt die quadratische Komplexität von Aufmerksamkeitsmechanismen zu hohen Speicher- und Rechenkosten, insbesondere bei längeren Token-Sequenzen, die für die Generierung hochauflösender Bilder oder mehrfacher Videoframes erforderlich sind. Um dies zu bewältigen, haben frühere Forschungen Techniken wie Sparsifizierung und Quantisierung untersucht. Diese Techniken stoßen jedoch bei geringer Dichte und reduzierter Bitbreite auf erhebliche Herausforderungen. Durch systematische Analysen identifizieren wir, dass die Kernschwierigkeit von den zerstreuten und unregelmäßigen Eigenschaften visueller Aufmerksamkeitsmuster herrührt. Daher schlagen wir anstelle der Einführung spezialisierter Sparsifizierungs- und Quantisierungsdesigns, die solche Muster berücksichtigen, eine alternative Strategie vor: die *Neuordnung* des Aufmerksamkeitsmusters, um die Herausforderungen zu mildern. Inspiriert von der lokalen Aggregationsnatur der visuellen Merkmalsextraktion entwickeln wir eine neuartige **Pattern-Aware Token ReOrdering (PARO)**-Technik, die die diversen Aufmerksamkeitsmuster in ein hardwarefreundliches blockweises Muster vereinheitlicht. Diese Vereinheitlichung vereinfacht und verbessert sowohl die Sparsifizierung als auch die Quantisierung erheblich. Wir bewerten die Leistungs-Effizienz-Kompromisse verschiedener Designentscheidungen und finalisieren eine Methodik, die auf das vereinheitlichte Muster zugeschnitten ist. Unser Ansatz, **PAROAttention**, erreicht die Generierung von Videos und Bilden mit verlustfreien Metriken und nahezu identischen Ergebnissen wie die Vollpräzision (FP)-Baselines, während er bei deutlich geringerer Dichte (~20%-30%) und Bitbreite (**INT8/INT4**) arbeitet und eine **1,9x** bis **2,7x** Beschleunigung der End-to-End-Latenz erzielt.

English

In visual generation, the quadratic complexity of attention mechanisms results in high memory and computational costs, especially for longer token sequences required in high-resolution image or multi-frame video generation. To address this, prior research has explored techniques such as sparsification and quantization. However, these techniques face significant challenges under low density and reduced bitwidths. Through systematic analysis, we identify that the core difficulty stems from the dispersed and irregular characteristics of visual attention patterns. Therefore, instead of introducing specialized sparsification and quantization design to accommodate such patterns, we propose an alternative strategy: *reorganizing* the attention pattern to alleviate the challenges. Inspired by the local aggregation nature of visual feature extraction, we design a novel **Pattern-Aware token ReOrdering (PARO)** technique, which unifies the diverse attention patterns into a hardware-friendly block-wise pattern. This unification substantially simplifies and enhances both sparsification and quantization. We evaluate the performance-efficiency trade-offs of various design choices and finalize a methodology tailored for the unified pattern. Our approach, **PAROAttention**, achieves video and image generation with lossless metrics, and nearly identical results from full-precision (FP) baselines, while operating at notably lower density (~20%-30%) and bitwidth (**INT8/INT4**), achieving a **1.9x** to **2.7x** end-to-end latency speedup.