Concat-ID: К универсальному синтезу видео с сохранением идентичности

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

Авторы: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

Аннотация

Мы представляем Concat-ID — унифицированную структуру для генерации видео с сохранением идентичности. Concat-ID использует вариационные автоэнкодеры для извлечения признаков изображений, которые конкатенируются с латентными представлениями видео вдоль последовательностного измерения, применяя исключительно механизмы 3D самовнимания без необходимости в дополнительных модулях. Введены новая стратегия кросс-видео парного сопоставления и многоэтапный режим обучения, которые позволяют сбалансировать согласованность идентичности и редактируемость лица, одновременно повышая естественность видео. Многочисленные эксперименты демонстрируют превосходство Concat-ID над существующими методами как в генерации с одной, так и с несколькими идентичностями, а также его бесшовную масштабируемость для сценариев с несколькими субъектами, включая виртуальную примерку и генерацию с управляемым фоном. Concat-ID устанавливает новый стандарт для синтеза видео с сохранением идентичности, предлагая универсальное и масштабируемое решение для широкого спектра приложений.

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.