ChatPaper.aiChatPaper

Concat-ID: Verso una Sintesi Video Universale che Preserva l'Identità

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025
Autori: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li
cs.AI

Abstract

Presentiamo Concat-ID, un framework unificato per la generazione di video con preservazione dell'identità. Concat-ID utilizza Autoencoder Variazionali per estrarre le caratteristiche delle immagini, che vengono concatenate con i latenti video lungo la dimensione della sequenza, sfruttando esclusivamente meccanismi di self-attention 3D senza la necessità di moduli aggiuntivi. Una nuova strategia di accoppiamento cross-video e un regime di addestramento multi-stadio vengono introdotti per bilanciare la coerenza dell'identità e l'editabilità del volto, migliorando al contempo la naturalezza del video. Esperimenti estensivi dimostrano la superiorità di Concat-ID rispetto ai metodi esistenti sia nella generazione a singola che a multi-identità, nonché la sua scalabilità senza soluzione di continuità a scenari multi-soggetto, inclusi il virtual try-on e la generazione con controllo dello sfondo. Concat-ID stabilisce un nuovo punto di riferimento per la sintesi video con preservazione dell'identità, fornendo una soluzione versatile e scalabile per un'ampia gamma di applicazioni.
English
We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.
PDF102March 19, 2025