Rete di Diffusione a Doppio Flusso per la Generazione di Video da Testo

Dual-Stream Diffusion Net for Text-to-Video Generation

August 16, 2023

Autori: Binhui Liu, Xin Liu, Anbo Dai, Zhiyong Zeng, Zhen Cui, Jian Yang

cs.AI

Abstract

Con l'emergere dei modelli di diffusione, recentemente la generazione di video da testo ha attirato un'attenzione crescente. Tuttavia, un importante collo di bottiglia è che i video generati tendono spesso a presentare alcuni sfarfallii e artefatti. In questo lavoro, proponiamo una rete di diffusione a doppio flusso (DSDN) per migliorare la coerenza delle variazioni di contenuto nella generazione di video. In particolare, i due flussi di diffusione progettati, i rami del contenuto video e del movimento, non solo possono operare separatamente nei loro spazi privati per produrre variazioni video personalizzate e contenuti, ma possono anche essere ben allineati tra i domini del contenuto e del movimento sfruttando il nostro modulo di interazione cross-transformer progettato, il quale favorisce la fluidità dei video generati. Inoltre, introduciamo anche un decompositore e un combinatore di movimento per facilitare le operazioni sul movimento video. Esperimenti qualitativi e quantitativi dimostrano che il nostro metodo è in grado di produrre video continui sorprendenti con meno sfarfallii.

English

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.