CustomVideoX: 3D Referenzaufmerksamkeit gesteuerte dynamische Anpassung für Zero-Shot individualisierte Video-Diffusions-Transformer.

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Autoren: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Zusammenfassung

Die personalisierte Generierung hat signifikante Fortschritte in der Bildsynthese erzielt, doch die personalisierte Videogenerierung bleibt aufgrund zeitlicher Inkonsistenzen und Qualitätsminderungen eine Herausforderung. In diesem Artikel stellen wir CustomVideoX vor, ein innovatives Framework, das den Video-Diffusionstransformer für die personalisierte Videogenerierung aus einem Referenzbild nutzt. CustomVideoX setzt auf vorab trainierte Videonetzwerke, indem ausschließlich die LoRA-Parameter trainiert werden, um Referenzmerkmale zu extrahieren, was sowohl Effizienz als auch Anpassungsfähigkeit gewährleistet. Um eine nahtlose Interaktion zwischen dem Referenzbild und dem Videomaterial zu ermöglichen, schlagen wir 3D-Referenzaufmerksamkeit vor, die eine direkte und gleichzeitige Einbindung von Referenzbildmerkmalen mit allen Videoframes über räumliche und zeitliche Dimensionen hinweg ermöglicht. Um den übermäßigen Einfluss von Referenzbildmerkmalen und textueller Anleitung auf das generierte Videomaterial während der Inferenz zu mildern, implementieren wir die Strategie der zeitbewussten Referenzaufmerksamkeitsverzerrung (TAB), die die Referenzaufmerksamkeit dynamisch über verschiedene Zeitschritte moduliert. Darüber hinaus führen wir das Entity Region-Aware Enhancement (ERAE)-Modul ein, das stark aktivierten Regionen von Schlüsselelement-Token mit der Referenzmerkmaleinspritzung durch Anpassung der Aufmerksamkeitsverzerrung ausrichtet. Um die personalisierte Videogenerierung umfassend zu bewerten, etablieren wir einen neuen Benchmark, VideoBench, der über 50 Objekte und 100 Anfragen für eine umfangreiche Bewertung umfasst. Experimentelle Ergebnisse zeigen, dass CustomVideoX in Bezug auf Videokonsistenz und -qualität signifikant besser abschneidet als bestehende Methoden.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.