FantasyID: Gezichtsgegevens Verbeterde ID-Behoudende Videogeneratie

FantasyID: Face Knowledge Enhanced ID-Preserving Video Generation

February 19, 2025

Auteurs: Yunpeng Zhang, Qiang Wang, Fan Jiang, Yaqi Fan, Mu Xu, Yonggang Qi

cs.AI

Samenvatting

Afstelmethodevrije benaderingen die grootschalige, vooraf getrainde videodiffusiemodellen aanpassen voor identiteitsbehoudende tekst-naar-video-generatie (IPT2V) hebben recentelijk aan populariteit gewonnen vanwege hun effectiviteit en schaalbaarheid. Er blijven echter aanzienlijke uitdagingen bestaan om tevredenstellende gezichtsbewegingen te bereiken terwijl de identiteit ongewijzigd blijft. In dit werk presenteren we een nieuw afstelmethodevrij IPT2V-raamwerk door de gezichtskennis van het vooraf getrainde videomodel, gebaseerd op diffusietransformers (DiT), te versterken, genaamd FantasyID. In essentie wordt een 3D-gezichtsgeometrie-prior opgenomen om plausibele gezichtsstructuren tijdens videosynthese te waarborgen. Om te voorkomen dat het model kopieer-plak-snelkoppelingen leert die simpelweg het referentiegezicht over frames repliceren, is een multi-view gezichtsaugmentatiestrategie ontworpen om diverse 2D-gezichtsuitdrukkingskenmerken vast te leggen, waardoor de dynamiek van gezichtsuitdrukkingen en hoofdposities wordt vergroot. Daarnaast wordt, na het combineren van de 2D- en 3D-kenmerken als leidraad, in plaats van naïef cross-attention te gebruiken om leidraadsignalen in DiT-lagen te injecteren, een leerbaar laagbewust adaptief mechanisme ingezet om de samengevoegde kenmerken selectief in elke individuele DiT-laag te injecteren, wat een gebalanceerde modellering van identiteitsbehoud en bewegingsdynamiek bevordert. Experimentele resultaten valideren de superioriteit van ons model ten opzichte van de huidige afstelmethodevrije IPT2V-methoden.

English

Tuning-free approaches adapting large-scale pre-trained video diffusion models for identity-preserving text-to-video generation (IPT2V) have gained popularity recently due to their efficacy and scalability. However, significant challenges remain to achieve satisfied facial dynamics while keeping the identity unchanged. In this work, we present a novel tuning-free IPT2V framework by enhancing face knowledge of the pre-trained video model built on diffusion transformers (DiT), dubbed FantasyID. Essentially, 3D facial geometry prior is incorporated to ensure plausible facial structures during video synthesis. To prevent the model from learning copy-paste shortcuts that simply replicate reference face across frames, a multi-view face augmentation strategy is devised to capture diverse 2D facial appearance features, hence increasing the dynamics over the facial expressions and head poses. Additionally, after blending the 2D and 3D features as guidance, instead of naively employing cross-attention to inject guidance cues into DiT layers, a learnable layer-aware adaptive mechanism is employed to selectively inject the fused features into each individual DiT layers, facilitating balanced modeling of identity preservation and motion dynamics. Experimental results validate our model's superiority over the current tuning-free IPT2V methods.