CustomVideoX: Adattamento Dinamico Guidato dall'Attenzione di Riferimento 3D per Trasformatori di Diffusione Video Personalizzati a Zero Shot

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Autori: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Abstract

La generazione personalizzata ha ottenuto significativi progressi nella sintesi delle immagini, tuttavia la generazione di video personalizzati rimane una sfida a causa delle inconsistenze temporali e della degradazione della qualità. In questo articolo, presentiamo CustomVideoX, un innovativo framework che sfrutta il transformer di diffusione video per la generazione di video personalizzati da un'immagine di riferimento. CustomVideoX sfrutta reti video pre-addestrate addestrando esclusivamente i parametri LoRA per estrarre le caratteristiche di riferimento, garantendo efficienza e adattabilità. Per facilitare un'interazione senza soluzione di continuità tra l'immagine di riferimento e il contenuto video, proponiamo l'Attenzione di Riferimento 3D, che consente un coinvolgimento diretto e simultaneo delle caratteristiche dell'immagine di riferimento con tutti i frame video attraverso dimensioni spaziali e temporali. Per mitigare l'eccessiva influenza delle caratteristiche dell'immagine di riferimento e delle indicazioni testuali sul contenuto video generato durante l'inferenza, implementiamo la strategia Time-Aware Reference Attention Bias (TAB), modulando dinamicamente il bias di riferimento su diversi passaggi temporali. Inoltre, introduciamo il modulo di Miglioramento Consapevole della Regione dell'Entità (ERAE), allineando le regioni altamente attivate dei token delle entità chiave con l'iniezione delle caratteristiche di riferimento regolando il bias di attenzione. Per valutare approfonditamente la generazione di video personalizzati, istituiamo un nuovo benchmark, VideoBench, che comprende oltre 50 oggetti e 100 prompt per una valutazione estensiva. I risultati sperimentali mostrano che CustomVideoX supera significativamente i metodi esistenti in termini di coerenza e qualità video.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.