EchoVideo : Génération de vidéos humaines préservant l'identité par fusion de caractéristiques multimodales

EchoVideo: Identity-Preserving Human Video Generation by Multimodal Feature Fusion

January 23, 2025

Auteurs: Jiangchuan Wei, Shiyue Yan, Wenfeng Lin, Boyuan Liu, Renjie Chen, Mingyu Guo

cs.AI

Résumé

Les récentes avancées dans la génération de vidéos ont eu un impact significatif sur diverses applications en aval, en particulier dans la génération de vidéos préservant l'identité (IPT2V). Cependant, les méthodes existantes rencontrent des difficultés avec les artefacts de "copier-coller" et les problèmes de similarité faible, principalement en raison de leur dépendance aux informations d'image faciale de bas niveau. Cette dépendance peut entraîner des apparences faciales rigides et des artefacts reflétant des détails non pertinents. Pour relever ces défis, nous proposons EchoVideo, qui utilise deux stratégies clés : (1) un Module de Fusion Image-Texte d'Identité (IITF) qui intègre des caractéristiques sémantiques de haut niveau à partir du texte, capturant des représentations d'identité faciale propres tout en éliminant les occlusions, les poses et les variations d'éclairage pour éviter l'introduction d'artefacts ; (2) une stratégie d'entraînement en deux étapes, incorporant une méthode stochastique dans la deuxième phase pour utiliser de manière aléatoire des informations faciales superficielles. L'objectif est d'équilibrer les améliorations de la fidélité fournies par les caractéristiques superficielles tout en atténuant la dépendance excessive à leur égard. Cette stratégie encourage le modèle à utiliser des caractéristiques de haut niveau pendant l'entraînement, favorisant finalement une représentation plus robuste des identités faciales. EchoVideo préserve efficacement les identités faciales et maintient l'intégrité du corps entier. Des expériences approfondies démontrent qu'il atteint d'excellents résultats dans la génération de vidéos de haute qualité, de contrôlabilité et de fidélité.

English

Recent advancements in video generation have significantly impacted various downstream applications, particularly in identity-preserving video generation (IPT2V). However, existing methods struggle with "copy-paste" artifacts and low similarity issues, primarily due to their reliance on low-level facial image information. This dependence can result in rigid facial appearances and artifacts reflecting irrelevant details. To address these challenges, we propose EchoVideo, which employs two key strategies: (1) an Identity Image-Text Fusion Module (IITF) that integrates high-level semantic features from text, capturing clean facial identity representations while discarding occlusions, poses, and lighting variations to avoid the introduction of artifacts; (2) a two-stage training strategy, incorporating a stochastic method in the second phase to randomly utilize shallow facial information. The objective is to balance the enhancements in fidelity provided by shallow features while mitigating excessive reliance on them. This strategy encourages the model to utilize high-level features during training, ultimately fostering a more robust representation of facial identities. EchoVideo effectively preserves facial identities and maintains full-body integrity. Extensive experiments demonstrate that it achieves excellent results in generating high-quality, controllability and fidelity videos.