Радиальное внимание: O(nlog n) разреженное внимание с затуханием энергии для генерации длинных видео

Аннотация

Последние достижения в области диффузионных моделей позволили добиться высококачественной генерации видео, однако дополнительное временное измерение значительно увеличивает вычислительные затраты, делая обучение и вывод длинных видео чрезмерно дорогостоящими. В данной работе мы выявляем явление, которое называем Пространственно-временным затуханием энергии в видео-диффузионных моделях: оценки внимания после softmax уменьшаются по мере увеличения пространственного и временного расстояния между токенами, подобно физическому затуханию сигнала или волн в природе. Вдохновленные этим, мы предлагаем Радиальное внимание — масштабируемый механизм разреженного внимания со сложностью O(n log n), который преобразует затухание энергии в экспоненциально убывающую плотность вычислений, что значительно эффективнее стандартного плотного внимания O(n^2) и выразительнее линейного внимания. В частности, Радиальное внимание использует простую статическую маску внимания, где каждый токен взаимодействует с пространственно близкими токенами, причем размер окна внимания уменьшается с увеличением временного расстояния. Кроме того, оно позволяет предварительно обученным видео-диффузионным моделям увеличивать длину генерации с помощью эффективной тонкой настройки на основе LoRA. Многочисленные эксперименты показывают, что Радиальное внимание сохраняет качество видео на моделях Wan2.1-14B, HunyuanVideo и Mochi 1, достигая ускорения до 1.9 раз по сравнению с исходным плотным вниманием. При минимальной настройке оно позволяет генерировать видео длиной до 4 раз больше, сокращая затраты на обучение до 4.4 раз по сравнению с прямой тонкой настройкой и ускоряя вывод до 3.7 раз по сравнению с выводом с использованием плотного внимания.

English

Recent advances in diffusion models have enabled high-quality video generation, but the additional temporal dimension significantly increases computational costs, making training and inference on long videos prohibitively expensive. In this paper, we identify a phenomenon we term Spatiotemporal Energy Decay in video diffusion models: post-softmax attention scores diminish as spatial and temporal distance between tokens increase, akin to the physical decay of signal or waves over space and time in nature. Motivated by this, we propose Radial Attention, a scalable sparse attention mechanism with O(n log n) complexity that translates energy decay into exponentially decaying compute density, which is significantly more efficient than standard O(n^2) dense attention and more expressive than linear attention. Specifically, Radial Attention employs a simple, static attention mask where each token attends to spatially nearby tokens, with the attention window size shrinking with temporal distance. Moreover, it allows pre-trained video diffusion models to extend their generation length with efficient LoRA-based fine-tuning. Extensive experiments show that Radial Attention maintains video quality across Wan2.1-14B, HunyuanVideo, and Mochi 1, achieving up to a 1.9times speedup over the original dense attention. With minimal tuning, it enables video generation up to 4times longer while reducing training costs by up to 4.4times compared to direct fine-tuning and accelerating inference by up to 3.7times compared to dense attention inference.

Радиальное внимание: O(nlog n) разреженное внимание с затуханием энергии для генерации длинных видео

Radial Attention: O(nlog n) Sparse Attention with Energy Decay for Long Video Generation

Аннотация

Support