Concat-ID: Rumo à Síntese Universal de Vídeos com Preservação de Identidade

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

Autores: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

Resumo

Apresentamos o Concat-ID, um framework unificado para geração de vídeos com preservação de identidade. O Concat-ID utiliza Autoencoders Variacionais para extrair características de imagens, que são concatenadas com latentes de vídeo ao longo da dimensão de sequência, aproveitando apenas mecanismos de auto-atenção 3D sem a necessidade de módulos adicionais. Uma nova estratégia de emparelhamento cruzado de vídeos e um regime de treinamento em múltiplas etapas são introduzidos para equilibrar a consistência de identidade e a editabilidade facial, ao mesmo tempo em que aprimoram a naturalidade do vídeo. Experimentos extensivos demonstram a superioridade do Concat-ID sobre os métodos existentes tanto na geração de identidade única quanto múltipla, bem como sua escalabilidade perfeita para cenários com múltiplos sujeitos, incluindo experimentação virtual e geração com controle de fundo. O Concat-ID estabelece um novo padrão para síntese de vídeos com preservação de identidade, oferecendo uma solução versátil e escalável para uma ampla gama de aplicações.

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.