Concat-ID: ユニバーサルなID保存型ビデオ合成に向けて

Concat-ID: Towards Universal Identity-Preserving Video Synthesis

March 18, 2025

著者: Yong Zhong, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Chongxuan Li

cs.AI

要旨

本論文では、ID保存型ビデオ生成のための統一フレームワークであるConcat-IDを提案する。Concat-IDは、Variational Autoencoderを用いて画像特徴を抽出し、それをビデオ潜在変数とシーケンス次元に沿って連結することで、追加モジュールを必要とせずに3D自己注意機構のみを活用する。IDの一貫性と顔の編集可能性をバランスさせながらビデオの自然さを向上させるため、新たなクロスビデオペアリング戦略と多段階トレーニング手法を導入した。大規模な実験により、Concat-IDが単一IDおよび複数ID生成において既存手法を凌駕すること、バーチャル試着や背景制御可能な生成を含むマルチサブジェクトシナリオへのシームレスなスケーラビリティを有することを実証した。Concat-IDは、ID保存型ビデオ合成の新たなベンチマークを確立し、幅広いアプリケーションに向けた汎用的でスケーラブルなソリューションを提供する。

English

We present Concat-ID, a unified framework for identity-preserving video generation. Concat-ID employs Variational Autoencoders to extract image features, which are concatenated with video latents along the sequence dimension, leveraging solely 3D self-attention mechanisms without the need for additional modules. A novel cross-video pairing strategy and a multi-stage training regimen are introduced to balance identity consistency and facial editability while enhancing video naturalness. Extensive experiments demonstrate Concat-ID's superiority over existing methods in both single and multi-identity generation, as well as its seamless scalability to multi-subject scenarios, including virtual try-on and background-controllable generation. Concat-ID establishes a new benchmark for identity-preserving video synthesis, providing a versatile and scalable solution for a wide range of applications.