VideoCrafter2: Het overwinnen van databeperkingen voor hoogwaardige videodiffusiemodellen

VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models

January 17, 2024

Auteurs: Haoxin Chen, Yong Zhang, Xiaodong Cun, Menghan Xia, Xintao Wang, Chao Weng, Ying Shan

cs.AI

Samenvatting

Text-to-video-generatie heeft als doel een video te produceren op basis van een gegeven prompt. Onlangs zijn verschillende commerciële videomodellen in staat gebleken geloofwaardige video's te genereren met minimale ruis, uitstekende details en hoge esthetische scores. Deze modellen zijn echter afhankelijk van grootschalige, goed gefilterde, hoogwaardige video's die niet toegankelijk zijn voor de gemeenschap. Veel bestaande onderzoekswerken, die modellen trainen met behulp van de laagwaardige WebVid-10M-dataset, hebben moeite om hoogwaardige video's te genereren omdat de modellen zijn geoptimaliseerd om WebVid-10M te benaderen. In dit werk onderzoeken we het trainingsschema van videomodellen die zijn uitgebreid vanuit Stable Diffusion en onderzoeken we de haalbaarheid van het benutten van laagwaardige video's en gesynthetiseerde hoogwaardige afbeeldingen om een hoogwaardig videomodel te verkrijgen. We analyseren eerst de verbinding tussen de ruimtelijke en temporele modules van videomodellen en de verschuiving in distributie naar laagwaardige video's. We observeren dat volledige training van alle modules resulteert in een sterkere koppeling tussen ruimtelijke en temporele modules dan alleen het trainen van temporele modules. Op basis van deze sterkere koppeling verschuiven we de distributie naar hogere kwaliteit zonder bewegingsdegradatie door ruimtelijke modules te finetunen met hoogwaardige afbeeldingen, wat resulteert in een generiek hoogwaardig videomodel. Evaluaties worden uitgevoerd om de superioriteit van de voorgestelde methode aan te tonen, met name op het gebied van beeldkwaliteit, beweging en conceptcompositie.

English

Text-to-video generation aims to produce a video based on a given prompt. Recently, several commercial video models have been able to generate plausible videos with minimal noise, excellent details, and high aesthetic scores. However, these models rely on large-scale, well-filtered, high-quality videos that are not accessible to the community. Many existing research works, which train models using the low-quality WebVid-10M dataset, struggle to generate high-quality videos because the models are optimized to fit WebVid-10M. In this work, we explore the training scheme of video models extended from Stable Diffusion and investigate the feasibility of leveraging low-quality videos and synthesized high-quality images to obtain a high-quality video model. We first analyze the connection between the spatial and temporal modules of video models and the distribution shift to low-quality videos. We observe that full training of all modules results in a stronger coupling between spatial and temporal modules than only training temporal modules. Based on this stronger coupling, we shift the distribution to higher quality without motion degradation by finetuning spatial modules with high-quality images, resulting in a generic high-quality video model. Evaluations are conducted to demonstrate the superiority of the proposed method, particularly in picture quality, motion, and concept composition.