Поиск априорных данных улучшает синтез текста в видео.

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

Авторы: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

Аннотация

Значительные достижения в моделях видеораспространения привели к существенному прогрессу в области синтеза текста в видео (T2V). Однако существующие модели синтеза T2V борются с точной генерацией сложной динамики движения, что приводит к снижению реализма видео. Один из возможных способов решения - собрать огромный объем данных и обучить модель на них, но это было бы чрезвычайно дорого. Для решения этой проблемы в данной статье мы переформулируем типичный процесс генерации T2V как процесс генерации на основе поиска. Вместо масштабирования обучения модели мы используем существующие видео в качестве базы данных движения. Конкретно, мы разделяем процесс генерации T2V на два этапа: (i) Для заданного ввода-подсказки мы ищем существующие наборы данных текст-видео, чтобы найти видео с текстовыми метками, близко соответствующими движениям подсказки. Мы предлагаем специализированный алгоритм поиска, который акцентируется на объектных движениях. (ii) Полученные видео обрабатываются и упрощаются в движущиеся априори для доводки предварительно обученной базовой модели T2V, за которой следует генерация желаемых видео с использованием вводной подсказки. Используя априори, полученные из найденных видео, мы улучшаем реализм движения сгенерированных видео. Все операции могут быть завершены на одном графическом процессоре NVIDIA RTX 4090. Мы проверяем наш метод на фоне современных моделей T2V на различных вводных подсказках. Код будет общедоступным.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.