Modelos de Difusão de Vídeo Autoregressivos Progressivos

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Autores: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Resumo

Os modelos de difusão de vídeo da fronteira atual demonstraram resultados notáveis na geração de vídeos de alta qualidade. No entanto, eles só conseguem gerar pequenos trechos de vídeo, normalmente em torno de 10 segundos ou 240 quadros, devido a limitações computacionais durante o treinamento. Neste trabalho, mostramos que os modelos existentes podem ser naturalmente estendidos para modelos de difusão de vídeo autoregressivos sem alterar as arquiteturas. Nossa ideia chave é atribuir aos quadros latentes níveis de ruído progressivamente crescentes em vez de um único nível de ruído, o que permite uma condição refinada entre os latentes e grandes sobreposições entre as janelas de atenção. Esse processo progressivo de remoção de ruído de vídeo permite que nossos modelos gerem autoregressivamente quadros de vídeo sem degradação de qualidade ou mudanças abruptas de cena. Apresentamos resultados de ponta na geração de vídeos longos em 1 minuto (1440 quadros a 24 FPS). Os vídeos deste artigo estão disponíveis em https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.