CustomVideoX : Adaptation Dynamique Axée sur l'Attention de Référence 3D pour les Transformateurs de Diffusion Vidéo Personnalisée Sans Pré-entraînement

CustomVideoX: 3D Reference Attention Driven Dynamic Adaptation for Zero-Shot Customized Video Diffusion Transformers

February 10, 2025

Auteurs: D. She, Mushui Liu, Jingxuan Pang, Jin Wang, Zhen Yang, Wanggui He, Guanghao Zhang, Yi Wang, Qihan Huang, Haobin Tang, Yunlong Yu, Siming Fu

cs.AI

Résumé

La génération personnalisée a réalisé des progrès significatifs dans la synthèse d'images, mais la génération de vidéos personnalisées reste un défi en raison des incohérences temporelles et de la dégradation de la qualité. Dans cet article, nous présentons CustomVideoX, un cadre innovant exploitant le transformateur de diffusion vidéo pour la génération de vidéos personnalisées à partir d'une image de référence. CustomVideoX tire parti des réseaux vidéo pré-entraînés en ne formant exclusivement que les paramètres LoRA pour extraire les caractéristiques de référence, garantissant à la fois efficacité et adaptabilité. Pour faciliter l'interaction transparente entre l'image de référence et le contenu vidéo, nous proposons l'Attention de Référence 3D, qui permet l'engagement direct et simultané des caractéristiques de l'image de référence avec tous les cadres vidéo à travers les dimensions spatiales et temporelles. Pour atténuer l'influence excessive des caractéristiques de l'image de référence et des indications textuelles sur le contenu vidéo généré lors de l'inférence, nous mettons en œuvre la stratégie de Biais d'Attention de Référence Sensible au Temps (TAB), modulant dynamiquement le biais de référence sur différents pas de temps. De plus, nous introduisons le module d'Amélioration Sensible à la Région de l'Entité (ERAE), alignant les régions fortement activées des jetons d'entité clés avec l'injection de caractéristiques de référence en ajustant le biais d'attention. Pour évaluer en profondeur la génération de vidéos personnalisées, nous établissons un nouveau banc d'essai, VideoBench, comprenant plus de 50 objets et 100 instructions pour une évaluation approfondie. Les résultats expérimentaux montrent que CustomVideoX surpasse significativement les méthodes existantes en termes de cohérence et de qualité vidéo.

English

Customized generation has achieved significant progress in image synthesis, yet personalized video generation remains challenging due to temporal inconsistencies and quality degradation. In this paper, we introduce CustomVideoX, an innovative framework leveraging the video diffusion transformer for personalized video generation from a reference image. CustomVideoX capitalizes on pre-trained video networks by exclusively training the LoRA parameters to extract reference features, ensuring both efficiency and adaptability. To facilitate seamless interaction between the reference image and video content, we propose 3D Reference Attention, which enables direct and simultaneous engagement of reference image features with all video frames across spatial and temporal dimensions. To mitigate the excessive influence of reference image features and textual guidance on generated video content during inference, we implement the Time-Aware Reference Attention Bias (TAB) strategy, dynamically modulating reference bias over different time steps. Additionally, we introduce the Entity Region-Aware Enhancement (ERAE) module, aligning highly activated regions of key entity tokens with reference feature injection by adjusting attention bias. To thoroughly evaluate personalized video generation, we establish a new benchmark, VideoBench, comprising over 50 objects and 100 prompts for extensive assessment. Experimental results show that CustomVideoX significantly outperforms existing methods in terms of video consistency and quality.