Concat-ID: Verso una Sintesi Video Universale che Preserva l'Identità
Concat-ID: Towards Universal Identity-Preserving Video Synthesis
March 18, 2025
Autori: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li
cs.AI
Abstract
Presentiamo Concat-ID, un framework unificato per la generazione di video con preservazione dell'identità. Concat-ID utilizza Autoencoder Variazionali per estrarre le caratteristiche delle immagini, che vengono concatenate con i latenti video lungo la dimensione della sequenza, sfruttando esclusivamente meccanismi di self-attention 3D senza la necessità di moduli aggiuntivi. Una nuova strategia di accoppiamento cross-video e un regime di addestramento multi-stadio vengono introdotti per bilanciare la coerenza dell'identità e l'editabilità del volto, migliorando al contempo la naturalezza del video. Esperimenti estensivi dimostrano la superiorità di Concat-ID rispetto ai metodi esistenti sia nella generazione a singola che a multi-identità, nonché la sua scalabilità senza soluzione di continuità a scenari multi-soggetto, inclusi il virtual try-on e la generazione con controllo dello sfondo. Concat-ID stabilisce un nuovo punto di riferimento per la sintesi video con preservazione dell'identità, fornendo una soluzione versatile e scalabile per un'ampia gamma di applicazioni.
English
We present Concat-ID, a unified framework for identity-preserving video
generation. Concat-ID employs Variational Autoencoders to extract image
features, which are concatenated with video latents along the sequence
dimension, leveraging solely 3D self-attention mechanisms without the need for
additional modules. A novel cross-video pairing strategy and a multi-stage
training regimen are introduced to balance identity consistency and facial
editability while enhancing video naturalness. Extensive experiments
demonstrate Concat-ID's superiority over existing methods in both single and
multi-identity generation, as well as its seamless scalability to multi-subject
scenarios, including virtual try-on and background-controllable generation.
Concat-ID establishes a new benchmark for identity-preserving video synthesis,
providing a versatile and scalable solution for a wide range of applications.