周波数分解によるアイデンティティを保持したテキストからビデオへの生成

Identity-Preserving Text-to-Video Generation by Frequency Decomposition

November 26, 2024

著者: Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

cs.AI

要旨

アイデンティティを保持するテキストからビデオ（IPT2V）生成は、一貫した人間のアイデンティティを持つ高品質なビデオを作成することを目指しています。これはビデオ生成における重要な課題であり、生成モデルにとって未解決の問題です。本論文は、文献において未解決の2つの方向においてIPT2Vの技術的フロンティアを押し進めます：（1）煩雑なケースごとの微調整を必要としないチューニングフリーのパイプライン、および（2）周波数に敏感なヒューリスティックなアイデンティティ保持DiTベースの制御スキーム。私たちはConsisIDを提案します。これは、人間のアイデンティティを生成されたビデオで一貫させるためのチューニングフリーなDiTベースのコントロール可能なIPT2Vモデルです。拡散トランスフォーマーの周波数分析における先行研究に触発され、このモデルは顔の特徴を低周波数のグローバル特徴と高周波数の固有特徴に分解できる周波数領域でアイデンティティ制御信号を使用します。低周波数の観点から、参照画像と顔のキーポイントを潜在空間にエンコードするグローバルな顔抽出器を導入し、低周波数情報が豊富な特徴を生成します。これらの特徴は、DiTに関連するトレーニングの課題を軽減するためにネットワークの浅い層に統合されます。高周波数の観点から、高周波数の詳細を捉えるローカルな顔抽出器を設計し、これをトランスフォーマーブロックに注入することで、モデルが微細な特徴を保持する能力を向上させます。周波数情報を活用した階層的なトレーニング戦略を提案し、バニラの事前トレーニングされたビデオ生成モデルをIPT2Vモデルに変換し、アイデンティティを保持します。幅広い実験により、周波数に敏感なヒューリスティックなスキームがDiTベースのモデルに最適な制御ソリューションを提供することが示されました。このスキームのおかげで、ConsisIDは高品質でアイデンティティを保持するビデオを生成し、より効果的なIPT2Vに向けて大きな進歩を遂げています。

English

Identity-preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving DiT-based control scheme. We propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human identity consistent in the generated video. Inspired by prior findings in frequency analysis of diffusion transformers, it employs identity-control signals in the frequency domain, where facial features can be decomposed into low-frequency global features and high-frequency intrinsic features. First, from a low-frequency perspective, we introduce a global facial extractor, which encodes reference images and facial key points into a latent space, generating features enriched with low-frequency information. These features are then integrated into shallow layers of the network to alleviate training challenges associated with DiT. Second, from a high-frequency perspective, we design a local facial extractor to capture high-frequency details and inject them into transformer blocks, enhancing the model's ability to preserve fine-grained features. We propose a hierarchical training strategy to leverage frequency information for identity preservation, transforming a vanilla pre-trained video generation model into an IPT2V model. Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models. Thanks to this scheme, our ConsisID generates high-quality, identity-preserving videos, making strides towards more effective IPT2V.