PSA : Attention Sparse Pyramidale pour une Compréhension et une Génération Efficaces de Vidéos

PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation

December 3, 2025

papers.authors: Xiaolong Li, Youping Gu, Xi Lin, Weijie Wang, Bohan Zhuang

cs.AI

papers.abstract

Les mécanismes d'attention constituent le cœur des modèles de fondation, mais leur complexité quadratique reste un goulot d'étranglement critique pour leur passage à l'échelle. Ce défi a motivé le développement de mécanismes d'attention efficaces, la parcimonie émergeant comme le paradigme dominant. Les méthodes actuelles conservent ou rejettent généralement des blocs clé-valeur entiers avec des masques binaires, entraînant une perte d'information substantielle sous forte sparsité. Pour combler cet écart, nous présentons Pyramid Sparse Attention (PSA), un module polyvalent applicable aux tâches de compréhension et de génération vidéo. Au lieu d'un masquage binaire, PSA introduit des représentations KV poolées multi-niveaux, permettant une granularité de masque plus fine. Plus précisément, chaque bloc de requêtes alloue dynamiquement des niveaux de pooling inférieurs aux blocs KV critiques et des niveaux supérieurs aux moins importants, créant une interpolation informative entre la rétention complète et l'élagage total. Cette conception, analogue à la quantification en virgule fixe et aux réseaux pyramidaux classiques en vision par ordinateur, atténue efficacement la perte d'information tout en préservant l'efficacité computationnelle avec un budget de calcul réduit. Elle fonctionne avec un noyau natif, adapté au matériel, qui tire parti d'une conception bloc-tuile découplée pour garantir une exécution efficace. Sur les benchmarks de compréhension et de génération vidéo, PSA préserve l'information contextuelle et la fidélité visuelle, surpassant constamment ou atteignant des performances comparables aux bases de référence d'attention parcimonieuse existantes avec des compromis efficacité-qualité supérieurs. Notre code et les poids des modèles sont disponibles publiquement à l'adresse : http://ziplab.co/PSA

English

Attention mechanisms are the core of foundation models, but their quadratic complexity remains a critical bottleneck for scaling. This challenge has driven the development of efficient attention mechanisms, with sparsity emerging as the dominant paradigm. Current methods typically retain or discard entire key-value blocks with binary masks, resulting in substantial information loss under high sparsity. To mitigate this gap, we present Pyramid Sparse Attention (PSA), a versatile module applicable to both video understanding and generation tasks. Instead of binary masking, PSA introduces multi-level pooled KV representations, enabling finer mask granularity. Specifically, each query block dynamically allocates lower pooling levels to critical KV blocks and higher levels to less important ones, creating an informative interpolation between full retention and complete pruning. This design, analogous to fixed-point quantization and classical feature pyramid networks in computer vision, effectively mitigates information loss while preserving computational efficiency under a low compute budget. It works with a native, hardware-friendly kernel that leverages decoupled block-tile design to ensure efficient execution. Across video understanding and generation benchmarks, PSA preserves contextual information and visual fidelity, consistently outperforming or achieving comparable performance over existing sparse attention baselines with superior efficiency-quality trade-offs. Our code and model weights are publicly available at: http://ziplab.co/PSA