プログレッシブ・オートレグレッシブ・ビデオ拡散モデル

Progressive Autoregressive Video Diffusion Models

October 10, 2024

著者: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

要旨

現在の最先端のビデオ拡散モデルは、高品質のビデオを生成する際に顕著な結果を示しています。ただし、トレーニング中の計算制限のため、通常は約10秒または240フレーム程度の短いビデオクリップしか生成できません。本研究では、既存のモデルをアーキテクチャを変更せずに自己回帰的ビデオ拡散モデルに自然に拡張できることを示します。私たちの主要なアイデアは、潜在フレームに単一のノイズレベルではなく、段階的に増加するノイズレベルを割り当てることで、潜在変数間の微細な条件と注目ウィンドウ間の大きな重複を可能にすることです。このような段階的ビデオノイズ除去により、モデルは画質の低下や急激なシーンの変化なしにビデオフレームを自己回帰的に生成できます。私たちは、1分（24 FPSで1440フレーム）の長いビデオ生成において最先端の結果を提示します。本論文のビデオは、https://desaixie.github.io/pa-vdm/ で入手可能です。

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.