Réseau de Diffusion à Double Flux pour la Génération de Texte vers Vidéo

Dual-Stream Diffusion Net for Text-to-Video Generation

August 16, 2023

Auteurs: Binhui Liu, Xin Liu, Anbo Dai, Zhiyong Zeng, Zhen Cui, Jian Yang

cs.AI

Résumé

Avec l'émergence des modèles de diffusion, la génération de texte-à-vidéo a récemment suscité un intérêt croissant. Cependant, un goulot d'étranglement important réside dans le fait que les vidéos générées ont souvent tendance à présenter des scintillements et des artefacts. Dans ce travail, nous proposons un réseau de diffusion à double flux (DSDN) pour améliorer la cohérence des variations de contenu dans la génération de vidéos. Plus précisément, les deux flux de diffusion conçus, à savoir les branches de contenu vidéo et de mouvement, peuvent non seulement fonctionner séparément dans leurs espaces propres pour produire des variations vidéo personnalisées ainsi que du contenu, mais aussi être bien alignés entre les domaines de contenu et de mouvement grâce à l'exploitation de notre module d'interaction cross-transformer, ce qui favorise la fluidité des vidéos générées. Par ailleurs, nous introduisons également un décomposeur et un combinateur de mouvement pour faciliter les opérations sur le mouvement vidéo. Les expériences qualitatives et quantitatives démontrent que notre méthode peut produire des vidéos continues impressionnantes avec moins de scintillements.

English

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.