Видео-Тетрис: к композиционному генерированию текста в видеоформате

VideoTetris: Towards Compositional Text-to-Video Generation

June 6, 2024

Авторы: Ye Tian, Ling Yang, Haotian Yang, Yuan Gao, Yufan Deng, Jingmin Chen, Xintao Wang, Zhaochen Yu, Xin Tao, Pengfei Wan, Di Zhang, Bin Cui

cs.AI

Аннотация

Модели диффузии продемонстрировали большой успех в генерации текста в видео (T2V). Однако существующие методы могут столкнуться с вызовами при работе с сложными (длинными) сценариями генерации видео, которые включают в себя несколько объектов или динамические изменения количества объектов. Для преодоления этих ограничений мы предлагаем VideoTetris, новую структуру, позволяющую композиционную генерацию T2V. Конкретно, мы предлагаем пространственно-временную композиционную диффузию для точного следования сложной текстовой семантике путем манипулирования и компоновки карт внимания пространственно и временно сетей денойзинга. Более того, мы предлагаем улучшенную предварительную обработку видеоданных для улучшения обучающих данных по динамике движения и стимулированию понимания, оснащенную новым механизмом внимания к эталонному кадру для улучшения согласованности авторегрессивной генерации видео. Обширные эксперименты показывают, что наш VideoTetris достигает впечатляющих качественных и количественных результатов в композиционной генерации T2V. Код доступен по ссылке: https://github.com/YangLing0818/VideoTetris

English

Diffusion models have demonstrated great success in text-to-video (T2V) generation. However, existing methods may face challenges when handling complex (long) video generation scenarios that involve multiple objects or dynamic changes in object numbers. To address these limitations, we propose VideoTetris, a novel framework that enables compositional T2V generation. Specifically, we propose spatio-temporal compositional diffusion to precisely follow complex textual semantics by manipulating and composing the attention maps of denoising networks spatially and temporally. Moreover, we propose an enhanced video data preprocessing to enhance the training data regarding motion dynamics and prompt understanding, equipped with a new reference frame attention mechanism to improve the consistency of auto-regressive video generation. Extensive experiments demonstrate that our VideoTetris achieves impressive qualitative and quantitative results in compositional T2V generation. Code is available at: https://github.com/YangLing0818/VideoTetris