Dual-Stream-Diffusionsnetz für die Text-zu-Video-Generierung

Dual-Stream Diffusion Net for Text-to-Video Generation

August 16, 2023

Autoren: Binhui Liu, Xin Liu, Anbo Dai, Zhiyong Zeng, Zhen Cui, Jian Yang

cs.AI

Zusammenfassung

Mit den aufkommenden Diffusionsmodellen hat die Text-zu-Video-Generierung in letzter Zeit zunehmend Aufmerksamkeit erregt. Ein wichtiger Engpass dabei ist jedoch, dass generierte Videos oft Flackern und Artefakte aufweisen. In dieser Arbeit schlagen wir ein Dual-Stream-Diffusionsnetzwerk (DSDN) vor, um die Konsistenz von Inhaltsvariationen bei der Videogenerierung zu verbessern. Insbesondere können die beiden entworfenen Diffusionsströme, die Videoinhalts- und Bewegungszweige, nicht nur separat in ihren eigenen Räumen laufen, um personalisierte Videovariationen sowie Inhalte zu erzeugen, sondern auch durch die Nutzung unseres entworfenen Cross-Transformer-Interaktionsmoduls gut zwischen den Inhalts- und Bewegungsdomänen abgestimmt werden, was die Glätte der generierten Videos fördert. Darüber hinaus führen wir auch einen Bewegungszerleger und -kombinierer ein, um die Bearbeitung von Videobewegungen zu erleichtern. Qualitative und quantitative Experimente zeigen, dass unsere Methode erstaunlich kontinuierliche Videos mit weniger Flackern erzeugen kann.

English

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.