DiTCtrl: Het verkennen van aandachtscontrole in Multi-Modale Diffusie Transformer voor het genereren van langere video's met meerdere prompts zonder afstelling.

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

December 24, 2024

Auteurs: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue

cs.AI

Samenvatting

Sora-achtige videogeneratiemodellen hebben opmerkelijke vooruitgang geboekt met een Multi-Modale Diffusie Transformer MM-DiT-architectuur. Echter, de huidige videogeneratiemodellen richten zich voornamelijk op enkele aanwijzingen en worstelen om coherente scènes te genereren met meerdere opeenvolgende aanwijzingen die beter de dynamische scenario's in de echte wereld weerspiegelen. Hoewel sommige baanbrekende werken multi-aanwijzingen videogeneratie hebben verkend, worden ze geconfronteerd met aanzienlijke uitdagingen, waaronder strikte trainingsdata-eisen, zwakke opvolging van aanwijzingen en onnatuurlijke overgangen. Om deze problemen aan te pakken, stellen we DiTCtrl voor, een trainingsvrije methode voor multi-aanwijzingen videogeneratie onder MM-DiT-architecturen voor de eerste keer. Ons belangrijkste idee is om de taak van multi-aanwijzingen videogeneratie te beschouwen als temporele videobewerking met vloeiende overgangen. Om dit doel te bereiken, analyseren we eerst het aandachtsmechanisme van MM-DiT, waarbij we constateren dat de 3D-volle aandacht zich op een vergelijkbare manier gedraagt als die van de kruis-/zelfaandachtsblokken in de UNet-achtige diffusiemodellen, waardoor maskergestuurde precieze semantische controle mogelijk is over verschillende aanwijzingen met aandachtsdeling voor multi-aanwijzingen videogeneratie. Op basis van onze zorgvuldige ontwerp genereert de video gemaakt door DiTCtrl vloeiende overgangen en consistente objectbeweging bij meerdere opeenvolgende aanwijzingen zonder extra training. Bovendien presenteren we ook MPVBench, een nieuwe benchmark speciaal ontworpen voor multi-aanwijzingen videogeneratie om de prestaties van multi-aanwijzingengeneratie te evalueren. Uitgebreide experimenten tonen aan dat onze methode state-of-the-art prestaties behaalt zonder extra training.

English

Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.