Двухпоточная диффузионная сеть для генерации видео из текста

Dual-Stream Diffusion Net for Text-to-Video Generation

August 16, 2023

Авторы: Binhui Liu, Xin Liu, Anbo Dai, Zhiyong Zeng, Zhen Cui, Jian Yang

cs.AI

Аннотация

С появлением диффузионных моделей генерация видео по текстовому описанию в последнее время привлекает все больше внимания. Однако важным ограничением в этой области является то, что создаваемые видео часто содержат мерцания и артефакты. В данной работе мы предлагаем двухпотоковую диффузионную сеть (DSDN) для улучшения согласованности изменений контента при генерации видео. В частности, разработанные два диффузионных потока — ветви для контента и движения — могут не только работать независимо в своих пространствах для создания персонализированных вариаций видео и контента, но и быть хорошо согласованными между доменами контента и движения благодаря нашему модулю кросс-трансформерного взаимодействия, что способствует плавности генерируемых видео. Кроме того, мы также вводим декомпозитор и комбинатор движения для упрощения работы с видеодвижением. Качественные и количественные эксперименты показывают, что наш метод позволяет создавать впечатляющие непрерывные видео с меньшим количеством мерцаний.

English

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.