EchoVideo: マルチモーダル特徴融合によるアイデンティティ保持人間ビデオ生成

EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion

January 23, 2025

著者: Jiangchuan Wei, Shiyue Yan, Wenfeng Lin, Boyuan Liu, Renjie Chen, Mingyu Guo

cs.AI

要旨

最近のビデオ生成技術の進歩は、特にアイデンティティを保持したビデオ生成（IPT2V）において、さまざまな下流アプリケーションに大きな影響を与えています。しかし、既存の手法は、「コピー＆ペースト」のアーティファクトや低類似性の問題に苦しんでおり、主に低レベルの顔画像情報への依存が原因です。この依存は、硬直した顔の外観や無関係な詳細を反映したアーティファクトを生み出す可能性があります。これらの課題に対処するために、私たちはEchoVideoを提案します。EchoVideoは、次の2つの主要戦略を採用しています：（1）高レベルの意味的特徴をテキストから統合し、隠蔽、ポーズ、照明の変化を捨てることでクリーンな顔のアイデンティティ表現を捉えるIdentity Image-Text Fusion Module（IITF）；（2）第2段階で確率的手法を組み込んだ2段階のトレーニング戦略を採用し、浅い顔情報をランダムに利用することで、忠実度の向上と浅い特徴への過度な依存を緩和することを目指しています。この戦略は、モデルに高レベルの特徴をトレーニング中に利用させ、最終的により堅牢な顔のアイデンティティ表現を育成することを促します。EchoVideoは、顔のアイデンティティを効果的に保持し、全身の完全性を維持します。幅広い実験により、高品質で制御可能かつ忠実度の高いビデオ生成において優れた結果を達成することが示されています。

English

Recent advancements in video generation have significantly impacted various downstream applications, particularly in identity-preserving video generation (IPT2V). However, existing methods struggle with "copy-paste" artifacts and low similarity issues, primarily due to their reliance on low-level facial image information. This dependence can result in rigid facial appearances and artifacts reflecting irrelevant details. To address these challenges, we propose EchoVideo, which employs two key strategies: (1) an Identity Image-Text Fusion Module (IITF) that integrates high-level semantic features from text, capturing clean facial identity representations while discarding occlusions, poses, and lighting variations to avoid the introduction of artifacts; (2) a two-stage training strategy, incorporating a stochastic method in the second phase to randomly utilize shallow facial information. The objective is to balance the enhancements in fidelity provided by shallow features while mitigating excessive reliance on them. This strategy encourages the model to utilize high-level features during training, ultimately fostering a more robust representation of facial identities. EchoVideo effectively preserves facial identities and maintains full-body integrity. Extensive experiments demonstrate that it achieves excellent results in generating high-quality, controllability and fidelity videos.