DiTCtrl: Explorando el Control de Atención en el Difusor Multi-Modal Transformer para la Generación de Videos más largos con Múltiples Estímulos sin Ajustes.

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

December 24, 2024

Autores: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue

cs.AI

Resumen

Los modelos de generación de video tipo Sora han logrado un progreso notable con una arquitectura Multi-Modal Diffusion Transformer (MM-DiT). Sin embargo, los modelos actuales de generación de video se centran predominantemente en una sola indicación, luchando por generar escenas coherentes con múltiples indicaciones secuenciales que reflejen mejor escenarios dinámicos del mundo real. Aunque algunos trabajos pioneros han explorado la generación de video con múltiples indicaciones, enfrentan desafíos significativos que incluyen requisitos estrictos de datos de entrenamiento, seguimiento débil de las indicaciones y transiciones poco naturales. Para abordar estos problemas, proponemos DiTCtrl, un método de generación de video con múltiples indicaciones sin entrenamiento bajo arquitecturas MM-DiT por primera vez. Nuestra idea clave es abordar la tarea de generación de video con múltiples indicaciones como una edición temporal de video con transiciones suaves. Para lograr este objetivo, primero analizamos el mecanismo de atención de MM-DiT, descubriendo que la atención completa en 3D se comporta de manera similar a la de los bloques de atención cruzada/auto-atención en los modelos de difusión tipo UNet, lo que permite un control semántico preciso guiado por máscara a través de diferentes indicaciones con un intercambio de atención para la generación de video con múltiples indicaciones. Basándonos en nuestro diseño cuidadoso, el video generado por DiTCtrl logra transiciones suaves y un movimiento consistente de objetos dado múltiples indicaciones secuenciales sin entrenamiento adicional. Además, también presentamos MPVBench, un nuevo benchmark diseñado especialmente para la generación de video con múltiples indicaciones para evaluar el rendimiento de la generación con múltiples indicaciones. Experimentos extensos demuestran que nuestro método logra un rendimiento de vanguardia sin necesidad de entrenamiento adicional.

English

Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.