Concat-ID : Vers une synthèse vidéo universelle préservant l'identité

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

Auteurs: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

Résumé

Nous présentons Concat-ID, un cadre unifié pour la génération de vidéos préservant l'identité. Concat-ID utilise des Autoencodeurs Variationnels pour extraire les caractéristiques des images, qui sont concaténées avec les latents vidéo le long de la dimension séquentielle, en exploitant uniquement des mécanismes d'auto-attention 3D sans nécessiter de modules supplémentaires. Une nouvelle stratégie d'appariement inter-vidéo et un régime d'entraînement multi-étapes sont introduits pour équilibrer la cohérence de l'identité et l'éditabilité faciale tout en améliorant le réalisme des vidéos. Des expériences approfondies démontrent la supériorité de Concat-ID par rapport aux méthodes existantes, tant pour la génération mono-identité que multi-identités, ainsi que son extensibilité fluide à des scénarios multi-sujets, incluant l'essayage virtuel et la génération avec contrôle de l'arrière-plan. Concat-ID établit un nouveau standard pour la synthèse vidéo préservant l'identité, offrant une solution polyvalente et évolutive pour un large éventail d'applications.

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.