Radiale Aandacht: O(nlog n) Sparse Aandacht met Energieverval voor Lange Videogeneratie

Samenvatting

Recente vooruitgang in diffusiemodellen heeft hoogwaardige videogeneratie mogelijk gemaakt, maar de extra temporele dimensie verhoogt de rekenkosten aanzienlijk, waardoor training en inferentie op lange video's buitensporig duur worden. In dit artikel identificeren we een fenomeen dat we Spatiotemporele Energieverval noemen in videodiffusiemodellen: post-softmax aandachtsscores nemen af naarmate de ruimtelijke en temporele afstand tussen tokens toeneemt, vergelijkbaar met het fysieke verval van signalen of golven in de natuur. Hierdoor geïnspireerd, stellen we Radiale Aandacht voor, een schaalbare sparse aandachtmechanisme met O(n log n) complexiteit dat energieverval vertaalt naar exponentieel afnemende rekendichtheid, wat aanzienlijk efficiënter is dan standaard O(n^2) dense aandacht en expressiever dan lineaire aandacht. Specifiek gebruikt Radiale Aandacht een eenvoudig, statisch aandachtmasker waarbij elke token aandacht besteedt aan ruimtelijk nabije tokens, waarbij de aandachtvenstergrootte afneemt met de temporele afstand. Bovendien maakt het het mogelijk dat vooraf getrainde videodiffusiemodellen hun generatielengte kunnen uitbreiden met efficiënte LoRA-gebaseerde fine-tuning. Uitgebreide experimenten tonen aan dat Radiale Aandacht de videokwaliteit behoudt over Wan2.1-14B, HunyuanVideo en Mochi 1, met een snelheidsverbetering tot 1,9 keer ten opzichte van de originele dense aandacht. Met minimale aanpassingen maakt het videogeneratie mogelijk tot 4 keer langer, terwijl de trainingskosten tot 4,4 keer worden verlaagd in vergelijking met directe fine-tuning en de inferentie tot 3,7 keer wordt versneld in vergelijking met dense aandacht inferentie.

English

Recent advances in diffusion models have enabled high-quality video generation, but the additional temporal dimension significantly increases computational costs, making training and inference on long videos prohibitively expensive. In this paper, we identify a phenomenon we term Spatiotemporal Energy Decay in video diffusion models: post-softmax attention scores diminish as spatial and temporal distance between tokens increase, akin to the physical decay of signal or waves over space and time in nature. Motivated by this, we propose Radial Attention, a scalable sparse attention mechanism with O(n log n) complexity that translates energy decay into exponentially decaying compute density, which is significantly more efficient than standard O(n^2) dense attention and more expressive than linear attention. Specifically, Radial Attention employs a simple, static attention mask where each token attends to spatially nearby tokens, with the attention window size shrinking with temporal distance. Moreover, it allows pre-trained video diffusion models to extend their generation length with efficient LoRA-based fine-tuning. Extensive experiments show that Radial Attention maintains video quality across Wan2.1-14B, HunyuanVideo, and Mochi 1, achieving up to a 1.9times speedup over the original dense attention. With minimal tuning, it enables video generation up to 4times longer while reducing training costs by up to 4.4times compared to direct fine-tuning and accelerating inference by up to 3.7times compared to dense attention inference.

Radiale Aandacht: O(nlog n) Sparse Aandacht met Energieverval voor Lange Videogeneratie

Radial Attention: O(nlog n) Sparse Attention with Energy Decay for Long Video Generation

Samenvatting

Support