Concat-ID: Hacia una Síntesis de Video Universal que Preserva la Identidad

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

Autores: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

Resumen

Presentamos Concat-ID, un marco unificado para la generación de videos que preservan la identidad. Concat-ID emplea Autoencoders Variacionales para extraer características de imágenes, las cuales se concatenan con latentes de video a lo largo de la dimensión de secuencia, aprovechando únicamente mecanismos de auto-atención 3D sin necesidad de módulos adicionales. Se introduce una novedosa estrategia de emparejamiento cruzado entre videos y un régimen de entrenamiento en múltiples etapas para equilibrar la consistencia de la identidad y la capacidad de edición facial, mejorando al mismo tiempo la naturalidad del video. Experimentos exhaustivos demuestran la superioridad de Concat-ID sobre los métodos existentes tanto en la generación de identidad única como múltiple, así como su escalabilidad fluida a escenarios de múltiples sujetos, incluyendo pruebas virtuales y generación con control de fondo. Concat-ID establece un nuevo referente en la síntesis de videos que preservan la identidad, ofreciendo una solución versátil y escalable para una amplia gama de aplicaciones.

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.