Генерация видео в реальном времени с использованием пирамидального внимания вещания.

Real-Time Video Generation with Pyramid Attention Broadcast

August 22, 2024

Авторы: Xuanlei Zhao, Xiaolong Jin, Kai Wang, Yang You

cs.AI

Аннотация

Мы представляем Пирамидальное Внимание Распространения (PAB), метод в реальном времени, высокого качества и не требующий обучения для генерации видео на основе Диффузии Трансформации. Наш метод основан на наблюдении, что различие внимания в процессе диффузии проявляет участок в форме буквы U, указывающий на значительную избыточность. Мы уменьшаем это, транслируя выходы внимания на последующие шаги в пирамидальном стиле. Применяются различные стратегии трансляции для каждого внимания на основе их дисперсии для наилучшей эффективности. Мы также вводим параллельную последовательность трансляции для более эффективного распределенного вывода. PAB демонстрирует превосходные результаты по сравнению с базовыми моделями на трех моделях, достигая генерации видео в реальном времени до разрешения 720p. Мы предвидим, что наш простой, но эффективный метод послужит надежным базовым уровнем и способствует будущим исследованиям и применениям в области генерации видео.

English

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates superior results across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.