CustomVideoX: 3D Referentie Aandacht Gedreven Dynamische Aanpassing voor Zero-Shot Gepersonaliseerde Video Diffusie Transformers

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Auteurs: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Samenvatting

Aangepaste generatie heeft aanzienlijke vooruitgang geboekt in beeldsynthese, maar gepersonaliseerde videogeneratie blijft uitdagend vanwege temporale inconsistenties en kwaliteitsdegradatie. In dit artikel introduceren we CustomVideoX, een innovatief raamwerk dat gebruikmaakt van de video diffusie transformer voor gepersonaliseerde videogeneratie vanuit een referentieafbeelding. CustomVideoX maakt gebruik van vooraf getrainde videonetwerken door uitsluitend de LoRA-parameters te trainen om referentiekenmerken te extraheren, wat zowel efficiëntie als aanpasbaarheid garandeert. Om naadloze interactie tussen de referentieafbeelding en videomateriaal te vergemakkelijken, stellen we 3D Referentie Aandacht voor, wat direct en gelijktijdig betrokkenheid van referentiekenmerken met alle videoframes mogelijk maakt over ruimtelijke en temporele dimensies. Om de overmatige invloed van referentiekenmerken en tekstuele begeleiding op gegenereerd videomateriaal tijdens inferentie te verminderen, implementeren we de Tijd-Aware Referentie Aandacht Bias (TAB) strategie, waarbij referentiebias dynamisch wordt gemoduleerd over verschillende tijdstappen. Daarnaast introduceren we de Entiteit Regio-Bewuste Versterking (ERAE) module, die sterk geactiveerde regio's van belangrijke entiteit tokens afstemt met referentiekenmerkinjectie door aandachtsbias aan te passen. Om gepersonaliseerde videogeneratie grondig te evalueren, stellen we een nieuwe benchmark vast, VideoBench, bestaande uit meer dan 50 objecten en 100 prompts voor uitgebreide beoordeling. Experimentele resultaten tonen aan dat CustomVideoX aanzienlijk beter presteert dan bestaande methoden op het gebied van videocoherentie en kwaliteit.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.