VideoCrafter2: Überwindung von Datenbeschränkungen für hochwertige Video-Diffusionsmodelle
VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models
January 17, 2024
papers.authors: Haoxin Chen, Yong Zhang, Xiaodong Cun, Menghan Xia, Xintao Wang, Chao Weng, Ying Shan
cs.AI
papers.abstract
Die Text-zu-Video-Generierung zielt darauf ab, ein Video basierend auf einem gegebenen Prompt zu erzeugen. In letzter Zeit konnten mehrere kommerzielle Videomodelle plausible Videos mit minimalem Rauschen, exzellenten Details und hohen ästhetischen Bewertungen generieren. Diese Modelle stützen sich jedoch auf groß angelegte, gut gefilterte, hochwertige Videos, die der Community nicht zugänglich sind. Viele bestehende Forschungsarbeiten, die Modelle mit dem qualitativ minderwertigen WebVid-10M-Datensatz trainieren, haben Schwierigkeiten, hochwertige Videos zu erzeugen, da die Modelle darauf optimiert sind, WebVid-10M anzupassen. In dieser Arbeit untersuchen wir das Trainingsschema von Videomodellen, die von Stable Diffusion abgeleitet sind, und erforschen die Machbarkeit, qualitativ niedrigwertige Videos und synthetisierte hochwertige Bilder zu nutzen, um ein hochwertiges Videomodell zu erhalten. Wir analysieren zunächst die Verbindung zwischen den räumlichen und zeitlichen Modulen von Videomodellen und der Verlagerung der Verteilung hin zu qualitativ niedrigwertigen Videos. Wir beobachten, dass das vollständige Training aller Module zu einer stärkeren Kopplung zwischen räumlichen und zeitlichen Modulen führt als das Training nur der zeitlichen Module. Basierend auf dieser stärkeren Kopplung verschieben wir die Verteilung hin zu höherer Qualität, ohne eine Verschlechterung der Bewegung, indem wir räumliche Module mit hochwertigen Bildern feintunen, was zu einem generischen hochwertigen Videomodell führt. Es werden Bewertungen durchgeführt, um die Überlegenheit der vorgeschlagenen Methode insbesondere in Bezug auf Bildqualität, Bewegung und Konzeptkomposition zu demonstrieren.
English
Text-to-video generation aims to produce a video based on a given prompt.
Recently, several commercial video models have been able to generate plausible
videos with minimal noise, excellent details, and high aesthetic scores.
However, these models rely on large-scale, well-filtered, high-quality videos
that are not accessible to the community. Many existing research works, which
train models using the low-quality WebVid-10M dataset, struggle to generate
high-quality videos because the models are optimized to fit WebVid-10M. In this
work, we explore the training scheme of video models extended from Stable
Diffusion and investigate the feasibility of leveraging low-quality videos and
synthesized high-quality images to obtain a high-quality video model. We first
analyze the connection between the spatial and temporal modules of video models
and the distribution shift to low-quality videos. We observe that full training
of all modules results in a stronger coupling between spatial and temporal
modules than only training temporal modules. Based on this stronger coupling,
we shift the distribution to higher quality without motion degradation by
finetuning spatial modules with high-quality images, resulting in a generic
high-quality video model. Evaluations are conducted to demonstrate the
superiority of the proposed method, particularly in picture quality, motion,
and concept composition.