Attenzione Radiale: Attenzione Sparsa O(nlog n) con Decadimento Energetico per la Generazione di Video Lunghi

Abstract

I recenti progressi nei modelli di diffusione hanno reso possibile la generazione di video di alta qualità, ma la dimensione temporale aggiuntiva aumenta significativamente i costi computazionali, rendendo proibitivamente costosi l'addestramento e l'inferenza su video lunghi. In questo articolo, identifichiamo un fenomeno che definiamo Decadimento dell'Energia Spaziotemporale nei modelli di diffusione video: i punteggi di attenzione post-softmax diminuiscono all'aumentare della distanza spaziale e temporale tra i token, simile al decadimento fisico di un segnale o di onde nello spazio e nel tempo in natura. Motivati da ciò, proponiamo l'Attenzione Radiale, un meccanismo di attenzione sparsa scalabile con complessità O(n log n) che traduce il decadimento dell'energia in una densità computazionale che decade esponenzialmente, risultando significativamente più efficiente rispetto all'attenzione densa standard O(n^2) e più espressiva rispetto all'attenzione lineare. Nello specifico, l'Attenzione Radiale utilizza una semplice maschera di attenzione statica in cui ogni token si concentra sui token spazialmente vicini, con la dimensione della finestra di attenzione che si riduce con la distanza temporale. Inoltre, consente ai modelli di diffusione video pre-addestrati di estendere la lunghezza della generazione con un efficiente fine-tuning basato su LoRA. Esperimenti estensivi dimostrano che l'Attenzione Radiale mantiene la qualità del video su Wan2.1-14B, HunyuanVideo e Mochi 1, raggiungendo un'accelerazione fino a 1,9 volte rispetto all'attenzione densa originale. Con un minimo tuning, consente la generazione di video fino a 4 volte più lunghi, riducendo i costi di addestramento fino a 4,4 volte rispetto al fine-tuning diretto e accelerando l'inferenza fino a 3,7 volte rispetto all'inferenza con attenzione densa.

English

Recent advances in diffusion models have enabled high-quality video generation, but the additional temporal dimension significantly increases computational costs, making training and inference on long videos prohibitively expensive. In this paper, we identify a phenomenon we term Spatiotemporal Energy Decay in video diffusion models: post-softmax attention scores diminish as spatial and temporal distance between tokens increase, akin to the physical decay of signal or waves over space and time in nature. Motivated by this, we propose Radial Attention, a scalable sparse attention mechanism with O(n log n) complexity that translates energy decay into exponentially decaying compute density, which is significantly more efficient than standard O(n^2) dense attention and more expressive than linear attention. Specifically, Radial Attention employs a simple, static attention mask where each token attends to spatially nearby tokens, with the attention window size shrinking with temporal distance. Moreover, it allows pre-trained video diffusion models to extend their generation length with efficient LoRA-based fine-tuning. Extensive experiments show that Radial Attention maintains video quality across Wan2.1-14B, HunyuanVideo, and Mochi 1, achieving up to a 1.9times speedup over the original dense attention. With minimal tuning, it enables video generation up to 4times longer while reducing training costs by up to 4.4times compared to direct fine-tuning and accelerating inference by up to 3.7times compared to dense attention inference.

Attenzione Radiale: Attenzione Sparsa O(nlog n) con Decadimento Energetico per la Generazione di Video Lunghi

Radial Attention: O(nlog n) Sparse Attention with Energy Decay for Long Video Generation

Abstract

Support