Modèles de diffusion vidéo autoregressifs progressifs

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Auteurs: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Résumé

Les modèles actuels de diffusion vidéo de pointe ont démontré des résultats remarquables dans la génération de vidéos de haute qualité. Cependant, ils ne peuvent générer que de courts clips vidéo, généralement d'environ 10 secondes ou 240 images, en raison des limitations de calcul lors de l'entraînement. Dans ce travail, nous montrons que les modèles existants peuvent être naturellement étendus aux modèles de diffusion vidéo autorégressifs sans modifier les architectures. Notre idée clé est d'attribuer aux images latentes des niveaux de bruit progressivement croissants plutôt qu'un seul niveau de bruit, ce qui permet une condition fine entre les latents et de larges chevauchements entre les fenêtres d'attention. Ce débruitage vidéo progressif permet à nos modèles de générer de manière autorégressive des images vidéo sans dégradation de la qualité ni changements de scène abrupts. Nous présentons des résultats de pointe sur la génération de vidéos longues d'une minute (1440 images à 24 images par seconde). Les vidéos de cet article sont disponibles sur https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.