FantasyID : Génération de vidéos préservant l'identité avec amélioration des connaissances faciales

FantasyID: Face Knowledge Enhanced ID-Preserving Video Generation

February 19, 2025

Auteurs: Yunpeng Zhang, Qiang Wang, Fan Jiang, Yaqi Fan, Mu Xu, Yonggang Qi

cs.AI

Résumé

Les approches sans réglage adaptant les modèles de diffusion vidéo pré-entraînés à grande échelle pour la génération de vidéos à partir de texte tout en préservant l'identité (IPT2V) ont gagné en popularité récemment en raison de leur efficacité et de leur évolutivité. Cependant, des défis importants subsistent pour obtenir des dynamiques faciales satisfaisantes tout en maintenant l'identité inchangée. Dans ce travail, nous présentons un nouveau cadre IPT2V sans réglage en améliorant la connaissance des visages du modèle vidéo pré-entraîné basé sur des transformateurs de diffusion (DiT), baptisé FantasyID. Essentiellement, une information géométrique faciale 3D est intégrée pour garantir des structures faciales plausibles lors de la synthèse vidéo. Pour empêcher le modèle d'apprendre des raccourcis de copier-coller qui reproduisent simplement le visage de référence à travers les images, une stratégie d'augmentation faciale multi-vues est conçue pour capturer diverses caractéristiques d'apparence faciale 2D, augmentant ainsi la dynamique des expressions faciales et des poses de tête. De plus, après avoir fusionné les caractéristiques 2D et 3D comme guide, au lieu d'utiliser naïvement l'attention croisée pour injecter les indices de guidage dans les couches DiT, un mécanisme adaptatif apprenable sensible aux couches est employé pour injecter sélectivement les caractéristiques fusionnées dans chaque couche DiT individuelle, facilitant une modélisation équilibrée de la préservation de l'identité et des dynamiques de mouvement. Les résultats expérimentaux valident la supériorité de notre modèle par rapport aux méthodes IPT2V sans réglage actuelles.

English

Tuning-free approaches adapting large-scale pre-trained video diffusion models for identity-preserving text-to-video generation (IPT2V) have gained popularity recently due to their efficacy and scalability. However, significant challenges remain to achieve satisfied facial dynamics while keeping the identity unchanged. In this work, we present a novel tuning-free IPT2V framework by enhancing face knowledge of the pre-trained video model built on diffusion transformers (DiT), dubbed FantasyID. Essentially, 3D facial geometry prior is incorporated to ensure plausible facial structures during video synthesis. To prevent the model from learning copy-paste shortcuts that simply replicate reference face across frames, a multi-view face augmentation strategy is devised to capture diverse 2D facial appearance features, hence increasing the dynamics over the facial expressions and head poses. Additionally, after blending the 2D and 3D features as guidance, instead of naively employing cross-attention to inject guidance cues into DiT layers, a learnable layer-aware adaptive mechanism is employed to selectively inject the fused features into each individual DiT layers, facilitating balanced modeling of identity preservation and motion dynamics. Experimental results validate our model's superiority over the current tuning-free IPT2V methods.