PAROAttention: Patroonbewust Herordenen voor Efficiënte Sparse en Gekwantiseerde Attention in Visuele Generatiemodellen

PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models

June 19, 2025

Auteurs: Tianchen Zhao, Ke Hong, Xinhao Yang, Xuefeng Xiao, Huixia Li, Feng Ling, Ruiqi Xie, Siqi Chen, Hongyu Zhu, Yichong Zhang, Yu Wang

cs.AI

Samenvatting

Bij visuele generatie resulteert de kwadratische complexiteit van aandachtmechanismen in hoge geheugen- en rekenkosten, vooral voor langere tokenreeksen die nodig zijn bij het genereren van hoge-resolutiebeelden of meerdere frames van video. Om dit aan te pakken, heeft eerder onderzoek technieken zoals verspreiding en kwantisering verkend. Deze technieken worden echter geconfronteerd met aanzienlijke uitdagingen bij lage dichtheid en gereduceerde bitbreedtes. Door systematische analyse identificeren we dat de kernmoeilijkheid voortkomt uit de verspreide en onregelmatige kenmerken van visuele aandachtspatronen. Daarom stellen we, in plaats van gespecialiseerde verspreidings- en kwantiseringsontwerpen te introduceren om dergelijke patronen te accommoderen, een alternatieve strategie voor: het *herorganiseren* van het aandachtspatroon om de uitdagingen te verlichten. Geïnspireerd door de lokale aggregatie van visuele kenmerkenextractie, ontwerpen we een nieuwe **Pattern-Aware token ReOrdering (PARO)**-techniek, die de diverse aandachtspatronen verenigt in een hardwarevriendelijk bloksgewijs patroon. Deze vereniging vereenvoudigt en verbetert zowel verspreiding als kwantisering aanzienlijk. We evalueren de prestatie-efficiëntie-afwegingen van verschillende ontwerpkeuzes en finaliseren een methodologie die is afgestemd op het verenigde patroon. Onze aanpak, **PAROAttention**, bereikt videogeneratie en beeldgeneratie met verliesloze metrieken en bijna identieke resultaten ten opzichte van full-precision (FP) basislijnen, terwijl deze werkt met aanzienlijk lagere dichtheid (~20%-30%) en bitbreedte (**INT8/INT4**), wat resulteert in een **1,9x** tot **2,7x** end-to-end latentieversnelling.

English

In visual generation, the quadratic complexity of attention mechanisms results in high memory and computational costs, especially for longer token sequences required in high-resolution image or multi-frame video generation. To address this, prior research has explored techniques such as sparsification and quantization. However, these techniques face significant challenges under low density and reduced bitwidths. Through systematic analysis, we identify that the core difficulty stems from the dispersed and irregular characteristics of visual attention patterns. Therefore, instead of introducing specialized sparsification and quantization design to accommodate such patterns, we propose an alternative strategy: *reorganizing* the attention pattern to alleviate the challenges. Inspired by the local aggregation nature of visual feature extraction, we design a novel **Pattern-Aware token ReOrdering (PARO)** technique, which unifies the diverse attention patterns into a hardware-friendly block-wise pattern. This unification substantially simplifies and enhances both sparsification and quantization. We evaluate the performance-efficiency trade-offs of various design choices and finalize a methodology tailored for the unified pattern. Our approach, **PAROAttention**, achieves video and image generation with lossless metrics, and nearly identical results from full-precision (FP) baselines, while operating at notably lower density (~20%-30%) and bitwidth (**INT8/INT4**), achieving a **1.9x** to **2.7x** end-to-end latency speedup.