Generación de Video a Texto Preservando la Identidad mediante Descomposición de Frecuencia

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

Autores: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

Resumen

La generación de texto a video que preserva la identidad (IPT2V) tiene como objetivo crear videos de alta fidelidad con una identidad humana consistente. Es una tarea importante en la generación de videos, pero sigue siendo un problema abierto para los modelos generativos. Este documento empuja la frontera técnica de IPT2V en dos direcciones que no han sido resueltas en la literatura: (1) Un flujo de trabajo sin ajustes tediosos caso por caso, y (2) Un esquema de control basado en heurísticas que preserva la identidad de manera consciente de la frecuencia y basado en DiT. Proponemos ConsisID, un modelo IPT2V controlable basado en DiT sin ajustes para mantener la identidad humana consistente en el video generado. Inspirado en hallazgos previos en el análisis de frecuencia de transformadores de difusión, emplea señales de control de identidad en el dominio de frecuencia, donde las características faciales pueden descomponerse en características globales de baja frecuencia y características intrínsecas de alta frecuencia. En primer lugar, desde una perspectiva de baja frecuencia, introducimos un extractor facial global, que codifica imágenes de referencia y puntos clave faciales en un espacio latente, generando características enriquecidas con información de baja frecuencia. Estas características se integran luego en capas superficiales de la red para aliviar los desafíos de entrenamiento asociados con DiT. En segundo lugar, desde una perspectiva de alta frecuencia, diseñamos un extractor facial local para capturar detalles de alta frecuencia e inyectarlos en bloques transformadores, mejorando la capacidad del modelo para preservar características detalladas. Proponemos una estrategia de entrenamiento jerárquica para aprovechar la información de frecuencia para la preservación de la identidad, transformando un modelo de generación de video preentrenado básico en un modelo IPT2V. Experimentos extensos demuestran que nuestro esquema heurístico consciente de la frecuencia proporciona una solución de control óptima para modelos basados en DiT. Gracias a este esquema, nuestro ConsisID genera videos de alta calidad que preservan la identidad, avanzando hacia una IPT2V más efectiva.

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.