PSA: Пирамидальное разреженное внимание для эффективного понимания и генерации видео

PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation

December 3, 2025

Авторы: Xiaolong Li, Youping Gu, Xi Lin, Weijie Wang, Bohan Zhuang

cs.AI

Аннотация

Механизмы внимания являются ядром базовых моделей, но их квадратичная сложность остается критическим ограничением для масштабирования. Эта проблема стимулировала разработку эффективных механизмов внимания, среди которых доминирующей парадигмой стала разреженность. Современные методы обычно сохраняют или отбрасывают целые блоки ключей-значений с помощью бинарных масок, что приводит к значительной потере информации при высокой степени разреженности. Чтобы сократить этот разрыв, мы представляем Pyramid Sparse Attention (PSA) — универсальный модуль, применимый как для задач понимания, так и для генерации видео. Вместо бинарного маскирования PSA вводит многоуровневые агрегированные (пуллинговые) представления ключей-значений, обеспечивая более тонкую гранулярность масок. В частности, каждый блок запросов динамически назначает более низкие уровни пуллинга критически важным блокам ключей-значений и более высокие уровни — менее важным, создавая информативную интерполяцию между полным сохранением и полным удалением. Эта конструкция, аналогичная квантованию с фиксированной точкой и классическим пирамидальным сетям признаков в компьютерном зрении, эффективно снижает потерю информации, сохраняя вычислительную эффективность при ограниченных ресурсах. Модуль реализован с помощью нативного, аппаратно-ориентированного ядра, которое использует разделенную блочно-плиточную архитектуру для обеспечения эффективного выполнения. В тестах по пониманию и генерации видео PSA сохраняет контекстную информацию и визуальное качество, стабильно превосходя или достигая сопоставимой производительности с существующими разреженными методами внимания при лучшем балансе эффективности и качества. Наш код и веса моделей общедоступны по адресу: http://ziplab.co/PSA.

English

Attention mechanisms are the core of foundation models, but their quadratic complexity remains a critical bottleneck for scaling. This challenge has driven the development of efficient attention mechanisms, with sparsity emerging as the dominant paradigm. Current methods typically retain or discard entire key-value blocks with binary masks, resulting in substantial information loss under high sparsity. To mitigate this gap, we present Pyramid Sparse Attention (PSA), a versatile module applicable to both video understanding and generation tasks. Instead of binary masking, PSA introduces multi-level pooled KV representations, enabling finer mask granularity. Specifically, each query block dynamically allocates lower pooling levels to critical KV blocks and higher levels to less important ones, creating an informative interpolation between full retention and complete pruning. This design, analogous to fixed-point quantization and classical feature pyramid networks in computer vision, effectively mitigates information loss while preserving computational efficiency under a low compute budget. It works with a native, hardware-friendly kernel that leverages decoupled block-tile design to ensure efficient execution. Across video understanding and generation benchmarks, PSA preserves contextual information and visual fidelity, consistently outperforming or achieving comparable performance over existing sparse attention baselines with superior efficiency-quality trade-offs. Our code and model weights are publicly available at: http://ziplab.co/PSA