L'exploration des connaissances préalables améliore la synthèse texte-vidéo

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

Auteurs: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

Résumé

Les avancées significatives dans les modèles de diffusion vidéo ont apporté des progrès substantiels dans le domaine de la synthèse texte-à-vidéo (T2V). Cependant, les modèles de synthèse T2V existants peinent à générer avec précision des dynamiques de mouvement complexes, ce qui réduit le réalisme des vidéos. Une solution possible consiste à collecter des données massives et à entraîner le modèle sur celles-ci, mais cela serait extrêmement coûteux. Pour atténuer ce problème, dans cet article, nous reformulons le processus typique de génération T2V en un pipeline de génération basé sur la recherche. Au lieu de mettre à l'échelle l'entraînement du modèle, nous utilisons des vidéos existantes comme base de données de mouvements a priori. Plus précisément, nous divisons le processus de génération T2V en deux étapes : (i) Pour une entrée de prompt donnée, nous recherchons dans les ensembles de données texte-vidéo existants des vidéos dont les étiquettes textuelles correspondent étroitement aux mouvements du prompt. Nous proposons un algorithme de recherche sur mesure qui met l'accent sur les caractéristiques de mouvement des objets. (ii) Les vidéos récupérées sont traitées et distillées en mouvements a priori pour affiner un modèle T2V de base pré-entraîné, suivi de la génération des vidéos souhaitées à l'aide du prompt d'entrée. En utilisant les a priori extraits des vidéos recherchées, nous améliorons le réalisme des mouvements des vidéos générées. Toutes les opérations peuvent être effectuées sur une seule carte graphique NVIDIA RTX 4090. Nous validons notre méthode par rapport aux modèles T2V de pointe sur divers prompts d'entrée. Le code sera rendu public.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.