DiTCtrl: Исследование управления вниманием в мультимодальном диффузионном трансформере для генерации длинных видеороликов с несколькими подсказками без настройки.

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

December 24, 2024

Авторы: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue

cs.AI

Аннотация

Модели генерации видео, подобные Sora, достигли значительного прогресса с архитектурой Multi-Modal Diffusion Transformer (MM-DiT). Однако текущие модели генерации видео в основном сосредотачиваются на одиночных подсказках, сталкиваясь с трудностями в создании согласованных сцен с несколькими последовательными подсказками, лучше отражающими динамические сценарии реального мира. Хотя некоторые первоначальные работы исследовали многоподсказочную генерацию видео, они сталкиваются с значительными проблемами, включая строгие требования к обучающим данным, слабое следование подсказкам и неестественные переходы. Для решения этих проблем мы предлагаем DiTCtrl - метод генерации видео с несколькими подсказками без обучения под MM-DiT архитектур впервые. Наша основная идея заключается в том, чтобы рассматривать задачу генерации видео с несколькими подсказками как временное редактирование видео с плавными переходами. Для достижения этой цели мы сначала анализируем механизм внимания MM-DiT, обнаруживая, что трехмерное полное внимание ведет себя аналогично блокам кросс- и самовнимания в моделях диффузии, похожих на UNet, обеспечивая управление семантикой с помощью маски через различные подсказки с общим вниманием для многоподсказочной генерации видео. Основываясь на нашем тщательном дизайне, видео, созданное DiTCtrl, обеспечивает плавные переходы и последовательное движение объектов при нескольких последовательных подсказках без дополнительного обучения. Кроме того, мы также представляем MPVBench - новый бенчмарк, специально разработанный для оценки производительности многоподсказочной генерации видео. Обширные эксперименты демонстрируют, что наш метод достигает передовой производительности без дополнительного обучения.

English

Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.