Gen-L-Video: Geração de Vídeos Longos a partir de Múltiplos Textos via Co-Denoisagem Temporal

Gen-L-Video: Multi-Text to Long Video Generation via Temporal Co-Denoising

May 29, 2023

Autores: Fu-Yun Wang, Wenshuo Chen, Guanglu Song, Han-Jia Ye, Yu Liu, Hongsheng Li

cs.AI

Resumo

Aproveitando grandes conjuntos de dados de imagem-texto e avanços em modelos de difusão, os modelos generativos orientados por texto têm feito progressos notáveis no campo de geração e edição de imagens. Este estudo explora o potencial de estender a capacidade orientada por texto para a geração e edição de vídeos longos com múltiplas condições de texto. As metodologias atuais para geração e edição de vídeos, embora inovadoras, frequentemente se limitam a vídeos extremamente curtos (geralmente com menos de 24 quadros) e estão restritas a uma única condição de texto. Essas limitações reduzem significativamente suas aplicações, considerando que vídeos do mundo real geralmente consistem em múltiplos segmentos, cada um contendo diferentes informações semânticas. Para enfrentar esse desafio, introduzimos um novo paradigma chamado Gen-L-Video, capaz de estender modelos de difusão de vídeos curtos prontos para uso, gerando e editando vídeos com centenas de quadros e diversos segmentos semânticos sem a necessidade de treinamento adicional, tudo isso mantendo a consistência do conteúdo. Implementamos três metodologias principais de geração e edição de vídeos orientadas por texto e as estendemos para acomodar vídeos mais longos com uma variedade de segmentos semânticos usando nosso paradigma proposto. Nossos resultados experimentais mostram que nossa abordagem amplia significativamente as capacidades de geração e edição de modelos de difusão de vídeos, oferecendo novas possibilidades para pesquisas e aplicações futuras. O código está disponível em https://github.com/G-U-N/Gen-L-Video.

English

Leveraging large-scale image-text datasets and advancements in diffusion models, text-driven generative models have made remarkable strides in the field of image generation and editing. This study explores the potential of extending the text-driven ability to the generation and editing of multi-text conditioned long videos. Current methodologies for video generation and editing, while innovative, are often confined to extremely short videos (typically less than 24 frames) and are limited to a single text condition. These constraints significantly limit their applications given that real-world videos usually consist of multiple segments, each bearing different semantic information. To address this challenge, we introduce a novel paradigm dubbed as Gen-L-Video, capable of extending off-the-shelf short video diffusion models for generating and editing videos comprising hundreds of frames with diverse semantic segments without introducing additional training, all while preserving content consistency. We have implemented three mainstream text-driven video generation and editing methodologies and extended them to accommodate longer videos imbued with a variety of semantic segments with our proposed paradigm. Our experimental outcomes reveal that our approach significantly broadens the generative and editing capabilities of video diffusion models, offering new possibilities for future research and applications. The code is available at https://github.com/G-U-N/Gen-L-Video.