Identiteit-Behoudende Tekst-naar-Video Generatie door Frequentie Decompositie

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

Auteurs: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

Samenvatting

Identiteit-bewarende tekst-naar-video (IPT2V) generatie heeft als doel hoogwaardige video's te creëren met consistente menselijke identiteit. Het is een belangrijke taak in videogeneratie, maar blijft een open probleem voor generatieve modellen. Dit artikel verlegt de technische grenzen van IPT2V in twee richtingen die nog niet zijn opgelost in de literatuur: (1) Een afstemmingsvrij proces zonder tijdrovende geval-per-geval finetuning, en (2) Een frequentie-bewust heuristisch identiteit-bewarend DiT-gebaseerd regelsysteem. We stellen ConsisID voor, een afstemmingsvrij DiT-gebaseerd controleerbaar IPT2V-model om menselijke identiteit consistent te houden in de gegenereerde video. Geïnspireerd door eerdere bevindingen in frequentieanalyse van diffusietransformatoren, maakt het gebruik van identiteitscontrolesignalen in het frequentiedomein, waar gezichtskenmerken kunnen worden opgesplitst in laagfrequente globale kenmerken en hoogfrequente intrinsieke kenmerken. Ten eerste, vanuit een laagfrequente benadering, introduceren we een globale gezichtsextractor, die referentiebeelden en gezichtssleutelpunten codeert in een latente ruimte, waardoor functies worden gegenereerd die verrijkt zijn met laagfrequente informatie. Deze functies worden vervolgens geïntegreerd in ondiepe lagen van het netwerk om trainingsuitdagingen geassocieerd met DiT te verlichten. Ten tweede, vanuit een hoogfrequente benadering, ontwerpen we een lokale gezichtsextractor om hoogfrequente details vast te leggen en deze in transformerblokken te injecteren, waardoor het vermogen van het model om fijngestructureerde kenmerken te behouden wordt verbeterd. We stellen een hiërarchische trainingsstrategie voor om frequentie-informatie te benutten voor identiteitsbehoud, waardoor een standaard voorgeleerd videogeneratiemodel wordt omgezet in een IPT2V-model. Uitgebreide experimenten tonen aan dat ons frequentie-bewuste heuristische schema een optimale controleoplossing biedt voor DiT-gebaseerde modellen. Dankzij dit schema genereert onze ConsisID hoogwaardige, identiteit-bewarende video's, waarmee stappen worden gezet naar effectievere IPT2V.

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.