FantasyID: Generazione di Video con Conservazione dell'ID Potenziata dalla Conoscenza del Volto

FantasyID: Face Knowledge Enhanced ID-Preserving Video Generation

February 19, 2025

Autori: Yunpeng Zhang, Qiang Wang, Fan Jiang, Yaqi Fan, Mu Xu, Yonggang Qi

cs.AI

Abstract

Gli approcci senza tuning che adattano modelli di diffusione video pre-addestrati su larga scala per la generazione di video da testo con conservazione dell'identità (IPT2V) hanno guadagnato popolarità di recente grazie alla loro efficacia e scalabilità. Tuttavia, rimangono sfide significative per ottenere dinamiche facciali soddisfacenti mantenendo invariata l'identità. In questo lavoro, presentiamo un nuovo framework IPT2V senza tuning, denominato FantasyID, che migliora la conoscenza del volto del modello video pre-addestrato basato su trasformatori di diffusione (DiT). Fondamentalmente, viene incorporato un priore di geometria facciale 3D per garantire strutture facciali plausibili durante la sintesi video. Per evitare che il modello apprenda scorciatoie di copia-incolla che replicano semplicemente il volto di riferimento tra i fotogrammi, è stata ideata una strategia di aumento del volto multi-vista per catturare diverse caratteristiche di aspetto facciale 2D, aumentando così la dinamica delle espressioni facciali e delle pose della testa. Inoltre, dopo aver combinato le caratteristiche 2D e 3D come guida, invece di utilizzare in modo ingenuo l'attenzione incrociata per iniettare i segnali di guida negli strati DiT, viene impiegato un meccanismo adattivo apprendibile e sensibile agli strati per iniettare selettivamente le caratteristiche fuse in ciascuno strato DiT individuale, facilitando una modellazione bilanciata della conservazione dell'identità e delle dinamiche del movimento. I risultati sperimentali convalidano la superiorità del nostro modello rispetto agli attuali metodi IPT2V senza tuning.

English

Tuning-free approaches adapting large-scale pre-trained video diffusion models for identity-preserving text-to-video generation (IPT2V) have gained popularity recently due to their efficacy and scalability. However, significant challenges remain to achieve satisfied facial dynamics while keeping the identity unchanged. In this work, we present a novel tuning-free IPT2V framework by enhancing face knowledge of the pre-trained video model built on diffusion transformers (DiT), dubbed FantasyID. Essentially, 3D facial geometry prior is incorporated to ensure plausible facial structures during video synthesis. To prevent the model from learning copy-paste shortcuts that simply replicate reference face across frames, a multi-view face augmentation strategy is devised to capture diverse 2D facial appearance features, hence increasing the dynamics over the facial expressions and head poses. Additionally, after blending the 2D and 3D features as guidance, instead of naively employing cross-attention to inject guidance cues into DiT layers, a learnable layer-aware adaptive mechanism is employed to selectively inject the fused features into each individual DiT layers, facilitating balanced modeling of identity preservation and motion dynamics. Experimental results validate our model's superiority over the current tuning-free IPT2V methods.