Het gebruik van zoekprioriteiten verbetert tekst-naar-video-synthese

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

Auteurs: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

Samenvatting

Aanzienlijke vooruitgang in videodiffusiemodellen heeft grote vorderingen gebracht op het gebied van tekst-naar-video (T2V) synthese. Bestaande T2V-synthesemodellen hebben echter moeite om complexe bewegingsdynamiek nauwkeurig te genereren, wat leidt tot een vermindering van de realistische weergave van video's. Een mogelijke oplossing is het verzamelen van enorme hoeveelheden data en het trainen van het model hierop, maar dit zou extreem kostbaar zijn. Om dit probleem te verlichten, herformuleren we in dit artikel het typische T2V-generatieproces als een op zoektocht gebaseerd generatiepijplijn. In plaats van het opschalen van de modeltraining, gebruiken we bestaande video's als de bewegingsprior-database. Specifiek verdelen we het T2V-generatieproces in twee stappen: (i) Voor een gegeven promptinput doorzoeken we bestaande tekst-video-datasets om video's te vinden met tekstlabels die nauw aansluiten bij de promptbewegingen. We stellen een op maat gemaakt zoekalgoritme voor dat de nadruk legt op objectbewegingskenmerken. (ii) Opgehaalde video's worden verwerkt en gedistilleerd tot bewegingspriors om een vooraf getraind basis-T2V-model te finetunen, waarna de gewenste video's worden gegenereerd met behulp van de inputprompt. Door gebruik te maken van de priors die zijn verkregen uit de gezochte video's, verbeteren we de realistische weergave van de gegenereerde video's. Alle bewerkingen kunnen worden uitgevoerd op een enkele NVIDIA RTX 4090 GPU. We valideren onze methode tegen state-of-the-art T2V-modellen met diverse promptinputs. De code zal openbaar worden gemaakt.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.