テキストから動画生成のためのデュアルストリーム拡散ネット

Dual-Stream Diffusion Net for Text-to-Video Generation

August 16, 2023

著者: Binhui Liu, Xin Liu, Anbo Dai, Zhiyong Zeng, Zhen Cui, Jian Yang

cs.AI

要旨

近年、拡散モデルの台頭に伴い、テキストから動画を生成する技術が注目を集めています。しかし、その重要な課題として、生成された動画にちらつきやアーティファクトが生じやすいことが挙げられます。本研究では、動画生成における内容の一貫性を向上させるため、デュアルストリーム拡散ネット（DSDN）を提案します。具体的には、設計した2つの拡散ストリーム、すなわち動画コンテンツブランチとモーションブランチは、それぞれの独立した空間で動作し、個別の動画バリエーションやコンテンツを生成するだけでなく、私たちが設計したクロストランスフォーマーインタラクションモジュールを活用して、コンテンツとモーションの領域間で適切に整合させることで、生成される動画の滑らかさを向上させます。さらに、動画のモーション操作を容易にするため、モーション分解器と結合器も導入しました。定性的および定量的な実験により、本手法がちらつきの少ない驚くほど連続性のある動画を生成できることが実証されています。

English

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.