Geração de Vídeo a Partir de Texto Preservando a Identidade por Decomposição de Frequência

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

Autores: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

Resumo

A geração de texto para vídeo preservando identidade (IPT2V) tem como objetivo criar vídeos de alta fidelidade com identidade humana consistente. Trata-se de uma tarefa importante na geração de vídeos, porém ainda é um problema em aberto para modelos generativos. Este artigo avança na fronteira técnica do IPT2V em duas direções que não foram resolvidas na literatura: (1) Um pipeline sem ajustes tediosos caso a caso, e (2) Um esquema de controle baseado em DiT consciente da frequência e heurístico para preservação de identidade. Propomos o ConsisID, um modelo IPT2V controlável baseado em DiT sem ajustes, para manter a identidade humana consistente nos vídeos gerados. Inspirado em descobertas anteriores na análise de frequência de transformadores de difusão, ele emprega sinais de controle de identidade no domínio da frequência, onde características faciais podem ser decompostas em características globais de baixa frequência e características intrínsecas de alta frequência. Primeiramente, sob uma perspectiva de baixa frequência, introduzimos um extrator facial global, que codifica imagens de referência e pontos-chave faciais em um espaço latente, gerando características enriquecidas com informações de baixa frequência. Essas características são então integradas em camadas rasas da rede para mitigar desafios de treinamento associados ao DiT. Em segundo lugar, sob uma perspectiva de alta frequência, projetamos um extrator facial local para capturar detalhes de alta frequência e injetá-los em blocos transformadores, aprimorando a capacidade do modelo de preservar características detalhadas. Propomos uma estratégia de treinamento hierárquica para aproveitar informações de frequência para preservação de identidade, transformando um modelo de geração de vídeo pré-treinado em um modelo IPT2V. Experimentos extensivos demonstram que nosso esquema heurístico consciente da frequência fornece uma solução de controle ideal para modelos baseados em DiT. Graças a este esquema, nosso ConsisID gera vídeos de alta qualidade preservando identidade, avançando em direção a um IPT2V mais eficaz.

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.