Modelli di diffusione video autoregressivi progressivi

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Autori: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Abstract

I modelli attuali di diffusione video di frontiera hanno dimostrato risultati notevoli nella generazione di video di alta qualità. Tuttavia, possono generare solo brevi clip video, di solito intorno ai 10 secondi o 240 fotogrammi, a causa delle limitazioni computazionali durante l'addestramento. In questo lavoro, mostriamo che i modelli esistenti possono essere naturalmente estesi a modelli di diffusione video autoregressivi senza cambiare le architetture. La nostra idea chiave è assegnare ai fotogrammi latenti livelli di rumore progressivamente crescenti anziché un singolo livello di rumore, il che consente una condizione dettagliata tra i latenti e ampi sovrapposizioni tra le finestre di attenzione. Tale denoising video progressivo consente ai nostri modelli di generare in modo autoregressivo fotogrammi video senza degradazione della qualità o cambiamenti di scena improvvisi. Presentiamo risultati all'avanguardia sulla generazione di video lunghi di 1 minuto (1440 fotogrammi a 24 FPS). I video di questo articolo sono disponibili su https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.