Identitätserhaltende Text-zu-Video-Generierung durch Frequenzzerlegung

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

Autoren: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

Zusammenfassung

Die Generierung von Identität erhaltenden Text-zu-Video (IPT2V) zielt darauf ab, hochwertige Videos mit konsistenter menschlicher Identität zu erstellen. Es handelt sich um eine wichtige Aufgabe in der Videogenerierung, die jedoch ein offenes Problem für generative Modelle darstellt. Dieser Artikel erweitert die technische Grenze von IPT2V in zwei Richtungen, die in der Literatur noch nicht gelöst wurden: (1) Ein abstimmungsfreier Prozess ohne mühsame feinabgestimmte Fall-für-Fall-Anpassung und (2) Ein frequenzbewusstes heuristisches Identität-erhaltendes DiT-basiertes Steuerschema. Wir schlagen ConsisID vor, ein abstimmungsfreies DiT-basiertes steuerbares IPT2V-Modell, um die menschliche Identität im generierten Video konsistent zu halten. Inspiriert von früheren Erkenntnissen in der Frequenzanalyse von Diffusions-Transformern verwendet es Identitätssteuersignale im Frequenzbereich, in dem Gesichtsmerkmale in niederfrequente globale Merkmale und hochfrequente intrinsische Merkmale zerlegt werden können. Erstens, aus einer niederfrequenten Perspektive, führen wir einen globalen Gesichtsextraktor ein, der Referenzbilder und Gesichtsschlüsselpunkte in einen latenten Raum kodiert, um Merkmale zu generieren, die mit niederfrequenten Informationen angereichert sind. Diese Merkmale werden dann in flache Schichten des Netzwerks integriert, um die mit DiT verbundenen Schulungsherausforderungen zu mildern. Zweitens, aus einer hochfrequenten Perspektive, entwerfen wir einen lokalen Gesichtsextraktor, um hochfrequente Details zu erfassen und sie in Transformer-Blöcke einzuspeisen, um die Fähigkeit des Modells zur Erhaltung feingranularer Merkmale zu verbessern. Wir schlagen eine hierarchische Schulungsstrategie vor, um Frequenzinformationen für die Identitätserhaltung zu nutzen und ein einfaches vorab trainiertes Videogenerierungsmodell in ein IPT2V-Modell zu transformieren. Umfangreiche Experimente zeigen, dass unser frequenzbewusstes heuristisches Schema eine optimale Steuerlösung für DiT-basierte Modelle bietet. Dank dieses Schemas generiert unser ConsisID hochwertige, identitätserhaltende Videos und macht Fortschritte in Richtung einer effektiveren IPT2V.

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.