VideoCrafter2: Superare le limitazioni dei dati per modelli di diffusione video di alta qualità
VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models
January 17, 2024
Autori: Haoxin Chen, Yong Zhang, Xiaodong Cun, Menghan Xia, Xintao Wang, Chao Weng, Ying Shan
cs.AI
Abstract
La generazione di video da testo mira a produrre un video basato su un prompt specifico. Recentemente, diversi modelli video commerciali sono stati in grado di generare video plausibili con rumore minimo, dettagli eccellenti e punteggi estetici elevati. Tuttavia, questi modelli si basano su video su larga scala, ben filtrati e di alta qualità che non sono accessibili alla comunità. Molti lavori di ricerca esistenti, che addestrano modelli utilizzando il dataset WebVid-10M di bassa qualità, faticano a generare video di alta qualità perché i modelli sono ottimizzati per adattarsi a WebVid-10M. In questo lavoro, esploriamo lo schema di addestramento di modelli video estesi da Stable Diffusion e investigiamo la fattibilità di sfruttare video di bassa qualità e immagini sintetizzate di alta qualità per ottenere un modello video di alta qualità. Inizialmente analizziamo la connessione tra i moduli spaziali e temporali dei modelli video e lo spostamento della distribuzione verso video di bassa qualità. Osserviamo che l'addestramento completo di tutti i moduli risulta in un accoppiamento più forte tra i moduli spaziali e temporali rispetto al solo addestramento dei moduli temporali. Basandoci su questo accoppiamento più forte, spostiamo la distribuzione verso una qualità superiore senza degradazione del movimento, ottimizzando i moduli spaziali con immagini di alta qualità, ottenendo così un modello video generico di alta qualità. Le valutazioni condotte dimostrano la superiorità del metodo proposto, in particolare nella qualità dell'immagine, nel movimento e nella composizione del concetto.
English
Text-to-video generation aims to produce a video based on a given prompt.
Recently, several commercial video models have been able to generate plausible
videos with minimal noise, excellent details, and high aesthetic scores.
However, these models rely on large-scale, well-filtered, high-quality videos
that are not accessible to the community. Many existing research works, which
train models using the low-quality WebVid-10M dataset, struggle to generate
high-quality videos because the models are optimized to fit WebVid-10M. In this
work, we explore the training scheme of video models extended from Stable
Diffusion and investigate the feasibility of leveraging low-quality videos and
synthesized high-quality images to obtain a high-quality video model. We first
analyze the connection between the spatial and temporal modules of video models
and the distribution shift to low-quality videos. We observe that full training
of all modules results in a stronger coupling between spatial and temporal
modules than only training temporal modules. Based on this stronger coupling,
we shift the distribution to higher quality without motion degradation by
finetuning spatial modules with high-quality images, resulting in a generic
high-quality video model. Evaluations are conducted to demonstrate the
superiority of the proposed method, particularly in picture quality, motion,
and concept composition.