PAROAttention: Riordinamento Consapevole del Modello per un'Attenzione Sparse e Quantizzata Efficiente nei Modelli di Generazione Visiva

PAROAttention: Pattern-Aware ReOrdering for Efficient Sparse and Quantized Attention in Visual Generation Models

June 19, 2025

Autori: Tianchen Zhao, Ke Hong, Xinhao Yang, Xuefeng Xiao, Huixia Li, Feng Ling, Ruiqi Xie, Siqi Chen, Hongyu Zhu, Yichong Zhang, Yu Wang

cs.AI

Abstract

Nella generazione visiva, la complessità quadratica dei meccanismi di attenzione comporta costi elevati in termini di memoria e calcolo, specialmente per sequenze di token più lunghe necessarie nella generazione di immagini ad alta risoluzione o video multi-frame. Per affrontare questo problema, ricerche precedenti hanno esplorato tecniche come la sparsificazione e la quantizzazione. Tuttavia, queste tecniche incontrano sfide significative in condizioni di bassa densità e ridotta larghezza di bit. Attraverso un'analisi sistematica, abbiamo identificato che la difficoltà principale deriva dalle caratteristiche disperse e irregolari dei modelli di attenzione visiva. Pertanto, invece di introdurre progetti specializzati di sparsificazione e quantizzazione per adattarsi a tali modelli, proponiamo una strategia alternativa: *riorganizzare* il modello di attenzione per alleviare le sfide. Ispirati dalla natura di aggregazione locale dell'estrazione di caratteristiche visive, abbiamo progettato una nuova tecnica **Pattern-Aware token ReOrdering (PARO)**, che unifica i diversi modelli di attenzione in un modello a blocchi compatibile con l'hardware. Questa unificazione semplifica e migliora sostanzialmente sia la sparsificazione che la quantizzazione. Valutiamo i compromessi tra prestazioni ed efficienza di varie scelte progettuali e finalizziamo una metodologia adatta al modello unificato. Il nostro approccio, **PAROAttention**, consente la generazione di video e immagini con metriche senza perdita e risultati quasi identici rispetto ai baseline a precisione completa (FP), operando a densità notevolmente inferiori (~20%-30%) e larghezza di bit (**INT8/INT4**), ottenendo un'accelerazione end-to-end da **1.9x** a **2.7x**.

English

In visual generation, the quadratic complexity of attention mechanisms results in high memory and computational costs, especially for longer token sequences required in high-resolution image or multi-frame video generation. To address this, prior research has explored techniques such as sparsification and quantization. However, these techniques face significant challenges under low density and reduced bitwidths. Through systematic analysis, we identify that the core difficulty stems from the dispersed and irregular characteristics of visual attention patterns. Therefore, instead of introducing specialized sparsification and quantization design to accommodate such patterns, we propose an alternative strategy: *reorganizing* the attention pattern to alleviate the challenges. Inspired by the local aggregation nature of visual feature extraction, we design a novel **Pattern-Aware token ReOrdering (PARO)** technique, which unifies the diverse attention patterns into a hardware-friendly block-wise pattern. This unification substantially simplifies and enhances both sparsification and quantization. We evaluate the performance-efficiency trade-offs of various design choices and finalize a methodology tailored for the unified pattern. Our approach, **PAROAttention**, achieves video and image generation with lossless metrics, and nearly identical results from full-precision (FP) baselines, while operating at notably lower density (~20%-30%) and bitwidth (**INT8/INT4**), achieving a **1.9x** to **2.7x** end-to-end latency speedup.