Gen-L-Video : Génération de vidéos longues à partir de multiples textes via un co-débruitage temporel

Gen-L-Video: Multi-Text to Long Video Generation via Temporal Co-Denoising

May 29, 2023

Auteurs: Fu-Yun Wang, Wenshuo Chen, Guanglu Song, Han-Jia Ye, Yu Liu, Hongsheng Li

cs.AI

Résumé

En s'appuyant sur des ensembles de données image-texte à grande échelle et sur les avancées des modèles de diffusion, les modèles génératifs pilotés par texte ont réalisé des progrès remarquables dans le domaine de la génération et de l'édition d'images. Cette étude explore le potentiel d'étendre cette capacité pilotée par texte à la génération et à l'édition de vidéos longues conditionnées par plusieurs textes. Les méthodologies actuelles pour la génération et l'édition de vidéos, bien qu'innovantes, se limitent souvent à des vidéos extrêmement courtes (généralement moins de 24 images) et sont restreintes à une seule condition textuelle. Ces contraintes limitent considérablement leurs applications, étant donné que les vidéos du monde réel se composent généralement de plusieurs segments, chacun portant des informations sémantiques différentes. Pour relever ce défi, nous introduisons un nouveau paradigme appelé Gen-L-Video, capable d'étendre les modèles de diffusion de vidéos courtes disponibles pour générer et éditer des vidéos comprenant des centaines d'images avec des segments sémantiques variés, sans nécessiter d'entraînement supplémentaire, tout en préservant la cohérence du contenu. Nous avons implémenté trois méthodologies principales de génération et d'édition de vidéos pilotées par texte et les avons étendues pour prendre en charge des vidéos plus longues enrichies de divers segments sémantiques grâce à notre paradigme proposé. Nos résultats expérimentaux montrent que notre approche élargit considérablement les capacités génératives et d'édition des modèles de diffusion de vidéos, ouvrant de nouvelles perspectives pour la recherche et les applications futures. Le code est disponible à l'adresse https://github.com/G-U-N/Gen-L-Video.

English

Leveraging large-scale image-text datasets and advancements in diffusion models, text-driven generative models have made remarkable strides in the field of image generation and editing. This study explores the potential of extending the text-driven ability to the generation and editing of multi-text conditioned long videos. Current methodologies for video generation and editing, while innovative, are often confined to extremely short videos (typically less than 24 frames) and are limited to a single text condition. These constraints significantly limit their applications given that real-world videos usually consist of multiple segments, each bearing different semantic information. To address this challenge, we introduce a novel paradigm dubbed as Gen-L-Video, capable of extending off-the-shelf short video diffusion models for generating and editing videos comprising hundreds of frames with diverse semantic segments without introducing additional training, all while preserving content consistency. We have implemented three mainstream text-driven video generation and editing methodologies and extended them to accommodate longer videos imbued with a variety of semantic segments with our proposed paradigm. Our experimental outcomes reveal that our approach significantly broadens the generative and editing capabilities of video diffusion models, offering new possibilities for future research and applications. The code is available at https://github.com/G-U-N/Gen-L-Video.