PSA: Pyramidale Sparse Attention für effizientes Video-Verständnis und -Generierung

PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation

December 3, 2025

papers.authors: Xiaolong Li, Youping Gu, Xi Lin, Weijie Wang, Bohan Zhuang

cs.AI

papers.abstract

Aufmerksamkeitsmechanismen bilden das Kernstück von Foundation Models, doch ihre quadratische Komplexität bleibt ein kritischer Engpass für die Skalierung. Diese Herausforderung hat die Entwicklung effizienter Aufmerksamkeitsmechanismen vorangetrieben, wobei Sparsity sich als dominantes Paradigma etabliert hat. Aktuelle Methoden behalten typischerweise gesamte Key-Value-Blöcke bei oder verwerfen sie mittels binärer Masken, was bei hoher Sparsity zu erheblichem Informationsverlust führt. Um diese Lücke zu schließen, präsentieren wir Pyramid Sparse Attention (PSA), ein vielseitiges Modul, das sowohl für Video-Understanding- als auch für Video-Generierungsaufgaben geeignet ist. Anstelle binärer Maskierung führt PSA mehrstufig gepoolte KV-Repräsentationen ein, die eine feinere Maskengranularität ermöglichen. Konkret weist jeder Query-Block dynamisch niedrigere Pooling-Levels für kritische KV-Blöcke und höhere Levels für weniger wichtige Blöcke zu, wodurch eine informative Interpolation zwischen vollständiger Beibehaltung und komplettem Entfernen entsteht. Dieses Design, das Analogien zur Festkomma-Quantisierung und zu klassischen Feature-Pyramid-Networks in der Computer Vision aufweist, reduziert den Informationsverlust effektiv und bewahrt gleichzeitig die Recheneffizienz bei geringem Rechenbudget. Es funktioniert mit einem nativen, hardwarefreundlichen Kernel, der ein entkoppeltes Block-Tile-Design nutzt, um eine effiziente Ausführung zu gewährleisten. In Benchmarks für Video-Understanding und -Generierung bewahrt PSA kontextuelle Informationen und visuelle Qualität, übertrifft bestehende Sparsity-basierte Aufmerksamkeits-Baselines durchweg oder erreicht vergleichbare Leistung bei überlegenen Effizienz-Qualitäts-Kompromissen. Unser Code und unsere Modellgewichte sind öffentlich verfügbar unter: http://ziplab.co/PSA

English

Attention mechanisms are the core of foundation models, but their quadratic complexity remains a critical bottleneck for scaling. This challenge has driven the development of efficient attention mechanisms, with sparsity emerging as the dominant paradigm. Current methods typically retain or discard entire key-value blocks with binary masks, resulting in substantial information loss under high sparsity. To mitigate this gap, we present Pyramid Sparse Attention (PSA), a versatile module applicable to both video understanding and generation tasks. Instead of binary masking, PSA introduces multi-level pooled KV representations, enabling finer mask granularity. Specifically, each query block dynamically allocates lower pooling levels to critical KV blocks and higher levels to less important ones, creating an informative interpolation between full retention and complete pruning. This design, analogous to fixed-point quantization and classical feature pyramid networks in computer vision, effectively mitigates information loss while preserving computational efficiency under a low compute budget. It works with a native, hardware-friendly kernel that leverages decoupled block-tile design to ensure efficient execution. Across video understanding and generation benchmarks, PSA preserves contextual information and visual fidelity, consistently outperforming or achieving comparable performance over existing sparse attention baselines with superior efficiency-quality trade-offs. Our code and model weights are publicly available at: http://ziplab.co/PSA