Die Suche nach Priors verbessert die Text-zu-Video-Synthese.

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

Autoren: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

Zusammenfassung

Bedeutende Fortschritte bei Videodiffusionsmodellen haben signifikante Fortschritte im Bereich der Text-zu-Video (T2V)-Synthese gebracht. Allerdings haben bestehende T2V-Synthesemodelle Schwierigkeiten, komplexe Bewegungsdynamiken präzise zu generieren, was zu einer Verringerung der Realität von Videos führt. Eine mögliche Lösung besteht darin, umfangreiche Daten zu sammeln und das Modell darauf zu trainieren, was jedoch extrem teuer wäre. Um dieses Problem zu lindern, reformulieren wir in diesem Papier den typischen T2V-Generierungsprozess als suchbasierte Generierungspipeline. Anstatt das Modelltraining zu skalieren, verwenden wir bestehende Videos als Bewegungsprioritätsdatenbank. Konkret teilen wir den T2V-Generierungsprozess in zwei Schritte auf: (i) Für eine gegebene Eingabeaufforderung suchen wir in bestehenden Text-Video-Datensätzen nach Videos mit Textetiketten, die den Bewegungen der Eingabeaufforderung nahekommen. Wir schlagen einen maßgeschneiderten Suchalgorithmus vor, der die Bewegungsmerkmale von Objekten betont. (ii) Die abgerufenen Videos werden verarbeitet und zu Bewegungsprioritäten destilliert, um ein vorab trainiertes Basis-T2V-Modell feinzutunen, gefolgt von der Generierung gewünschter Videos unter Verwendung der Eingabeaufforderung. Durch die Nutzung der aus den gesuchten Videos gewonnenen Prioritäten verbessern wir die Realität der Bewegungen der generierten Videos. Alle Operationen können auf einer einzelnen NVIDIA RTX 4090 GPU durchgeführt werden. Wir validieren unsere Methode anhand von State-of-the-Art T2V-Modellen für diverse Eingabeaufforderungen. Der Code wird öffentlich zugänglich sein.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.