Radiale Aufmerksamkeit: O(nlog n) spärliche Aufmerksamkeit mit Energieabfall für die Erzeugung langer Videos

Zusammenfassung

Jüngste Fortschritte bei Diffusionsmodellen haben die Erzeugung hochwertiger Videos ermöglicht, doch die zusätzliche zeitliche Dimension erhöht die Rechenkosten erheblich, was das Training und die Inferenz bei langen Videos unverhältnismäßig teuer macht. In diesem Artikel identifizieren wir ein Phänomen, das wir als räumlich-zeitlichen Energieabfall in Video-Diffusionsmodellen bezeichnen: Die Post-Softmax-Attentionswerte nehmen ab, wenn der räumliche und zeitliche Abstand zwischen den Tokens zunimmt, ähnlich dem physikalischen Abfall von Signalen oder Wellen über Raum und Zeit in der Natur. Motiviert durch diese Beobachtung schlagen wir Radiale Attention vor, einen skalierbaren, spärlichen Aufmerksamkeitsmechanismus mit O(n log n)-Komplexität, der den Energieabfall in exponentiell abnehmende Rechendichte übersetzt, was deutlich effizienter ist als die standardmäßige O(n^2)-dichte Attention und ausdrucksstärker als lineare Attention. Konkret verwendet Radiale Attention eine einfache, statische Aufmerksamkeitsmaske, bei der jeder Token räumlich nahe Tokens beachtet, wobei die Größe des Aufmerksamkeitsfensters mit zunehmendem zeitlichen Abstand schrumpft. Darüber hinaus ermöglicht es vortrainierten Video-Diffusionsmodellen, ihre Generierungslänge durch effizientes LoRA-basiertes Fine-Tuning zu erweitern. Umfangreiche Experimente zeigen, dass Radiale Attention die Videoqualität über Wan2.1-14B, HunyuanVideo und Mochi 1 hinweg beibehält und dabei eine bis zu 1,9-fache Beschleunigung gegenüber der ursprünglichen dichten Attention erreicht. Mit minimalem Tuning ermöglicht es die Erzeugung von Videos, die bis zu 4-mal länger sind, während die Trainingskosten um bis zu 4,4-fach im Vergleich zum direkten Fine-Tuning reduziert und die Inferenz um bis zu 3,7-fach im Vergleich zur dichten Attention beschleunigt werden.

English

Recent advances in diffusion models have enabled high-quality video generation, but the additional temporal dimension significantly increases computational costs, making training and inference on long videos prohibitively expensive. In this paper, we identify a phenomenon we term Spatiotemporal Energy Decay in video diffusion models: post-softmax attention scores diminish as spatial and temporal distance between tokens increase, akin to the physical decay of signal or waves over space and time in nature. Motivated by this, we propose Radial Attention, a scalable sparse attention mechanism with O(n log n) complexity that translates energy decay into exponentially decaying compute density, which is significantly more efficient than standard O(n^2) dense attention and more expressive than linear attention. Specifically, Radial Attention employs a simple, static attention mask where each token attends to spatially nearby tokens, with the attention window size shrinking with temporal distance. Moreover, it allows pre-trained video diffusion models to extend their generation length with efficient LoRA-based fine-tuning. Extensive experiments show that Radial Attention maintains video quality across Wan2.1-14B, HunyuanVideo, and Mochi 1, achieving up to a 1.9times speedup over the original dense attention. With minimal tuning, it enables video generation up to 4times longer while reducing training costs by up to 4.4times compared to direct fine-tuning and accelerating inference by up to 3.7times compared to dense attention inference.

Radiale Aufmerksamkeit: O(nlog n) spärliche Aufmerksamkeit mit Energieabfall für die Erzeugung langer Videos

Radial Attention: O(nlog n) Sparse Attention with Energy Decay for Long Video Generation

Zusammenfassung

Support