Progressive autoregressive Video-Diffusionsmodelle

Progressive Autoregressive Video Diffusion Models

October 10, 2024

Autoren: Desai Xie, Zhan Xu, Yicong Hong, Hao Tan, Difan Liu, Feng Liu, Arie Kaufman, Yang Zhou

cs.AI

Zusammenfassung

Aktuelle Modelle für die Verbreitung von Videos an der Grenze der Technologie haben bemerkenswerte Ergebnisse bei der Erzeugung hochwertiger Videos gezeigt. Sie können jedoch nur kurze Videoclips generieren, normalerweise etwa 10 Sekunden oder 240 Frames, aufgrund von Rechenbeschränkungen während des Trainings. In dieser Arbeit zeigen wir, dass bestehende Modelle natürlicherweise zu autoregressiven Videoverbreitungsmodellen erweitert werden können, ohne die Architekturen zu ändern. Unsere Schlüsselidee besteht darin, den latenten Frames allmählich zunehmende Rauschniveaus zuzuweisen, anstatt ein einzelnes Rauschniveau, was eine feinkörnige Bedingung zwischen den Latenten und große Überlappungen zwischen den Aufmerksamkeitsfenstern ermöglicht. Eine solche progressive Videobildentrauschung ermöglicht es unseren Modellen, Video-Frames autoregressiv zu generieren, ohne Qualitätsverschlechterung oder abrupte Szenenwechsel. Wir präsentieren Spitzenresultate bei der Erzeugung langer Videos von 1 Minute (1440 Frames mit 24 FPS). Videos aus diesem Paper sind verfügbar unter https://desaixie.github.io/pa-vdm/.

English

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.