A Busca de Priores Torna a Síntese de Texto para Vídeo Melhor

Searching Priors Makes Text-to-Video Synthesis Better

June 5, 2024

Autores: Haoran Cheng, Liang Peng, Linxuan Xia, Yuepeng Hu, Hengjia Li, Qinglin Lu, Xiaofei He, Boxi Wu

cs.AI

Resumo

Avanços significativos em modelos de difusão de vídeo trouxeram progresso substancial ao campo de síntese de texto para vídeo (T2V). No entanto, os modelos existentes de síntese T2V lutam para gerar com precisão dinâmicas de movimento complexas, levando a uma redução no realismo dos vídeos. Uma solução possível seria coletar dados massivos e treinar o modelo com eles, mas isso seria extremamente caro. Para aliviar esse problema, neste artigo, reformulamos o processo típico de geração T2V como um pipeline de geração baseado em busca. Em vez de escalar o treinamento do modelo, empregamos vídeos existentes como banco de dados de prioridades de movimento. Especificamente, dividimos o processo de geração T2V em duas etapas: (i) Para uma entrada de prompt dada, buscamos em conjuntos de dados texto-vídeo existentes para encontrar vídeos com rótulos de texto que correspondam de perto aos movimentos do prompt. Propomos um algoritmo de busca personalizado que enfatiza características de movimento de objetos. (ii) Os vídeos recuperados são processados e destilados em prioridades de movimento para ajustar finamente um modelo T2V base pré-treinado, seguido pela geração dos vídeos desejados usando o prompt de entrada. Ao utilizar as prioridades obtidas dos vídeos buscados, aprimoramos o realismo do movimento dos vídeos gerados. Todas as operações podem ser concluídas em uma única GPU NVIDIA RTX 4090. Validamos nosso método contra modelos T2V state-of-the-art em diversas entradas de prompt. O código será público.

English

Significant advancements in video diffusion models have brought substantial progress to the field of text-to-video (T2V) synthesis. However, existing T2V synthesis model struggle to accurately generate complex motion dynamics, leading to a reduction in video realism. One possible solution is to collect massive data and train the model on it, but this would be extremely expensive. To alleviate this problem, in this paper, we reformulate the typical T2V generation process as a search-based generation pipeline. Instead of scaling up the model training, we employ existing videos as the motion prior database. Specifically, we divide T2V generation process into two steps: (i) For a given prompt input, we search existing text-video datasets to find videos with text labels that closely match the prompt motions. We propose a tailored search algorithm that emphasizes object motion features. (ii) Retrieved videos are processed and distilled into motion priors to fine-tune a pre-trained base T2V model, followed by generating desired videos using input prompt. By utilizing the priors gleaned from the searched videos, we enhance the realism of the generated videos' motion. All operations can be finished on a single NVIDIA RTX 4090 GPU. We validate our method against state-of-the-art T2V models across diverse prompt inputs. The code will be public.