Modelos de Difusión de Video Autoregresivos Progresivos

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Autores: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Resumen

Los modelos actuales de difusión de video en la frontera han demostrado resultados notables en la generación de videos de alta calidad. Sin embargo, solo pueden generar clips de video cortos, normalmente alrededor de 10 segundos o 240 cuadros, debido a limitaciones computacionales durante el entrenamiento. En este trabajo, mostramos que los modelos existentes pueden ser extendidos de forma natural a modelos de difusión de video autoregresivos sin cambiar las arquitecturas. Nuestra idea clave es asignar a los cuadros latentes niveles de ruido progresivamente crecientes en lugar de un solo nivel de ruido, lo que permite una condición detallada entre los latentes y grandes superposiciones entre las ventanas de atención. Esta desruidificación progresiva de video permite a nuestros modelos generar autoregresivamente cuadros de video sin degradación de calidad o cambios abruptos de escena. Presentamos resultados de vanguardia en generación de video largo de 1 minuto (1440 cuadros a 24 FPS). Los videos de este trabajo están disponibles en https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.