VividFace : Un cadre hybride basé sur la diffusion pour un échange de visages vidéo haute fidélité

VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping

December 15, 2024

Auteurs: Hao Shao, Shulun Wang, Yang Zhou, Guanglu Song, Dailan He, Shuo Qin, Zhuofan Zong, Bingqi Ma, Yu Liu, Hongsheng Li

cs.AI

Résumé

L'échange de visages vidéo devient de plus en plus populaire dans diverses applications, cependant les méthodes existantes se concentrent principalement sur les images statiques et rencontrent des difficultés avec l'échange de visages vidéo en raison de la cohérence temporelle et de scénarios complexes. Dans cet article, nous présentons le premier cadre basé sur la diffusion spécifiquement conçu pour l'échange de visages vidéo. Notre approche introduit un nouveau cadre d'entraînement hybride image-vidéo qui tire parti à la fois des données abondantes d'images statiques et des séquences vidéo temporelles, abordant les limitations inhérentes de l'entraînement uniquement sur vidéo. Le cadre intègre un modèle de diffusion spécialement conçu couplé à un VidFaceVAE qui traite efficacement les deux types de données pour mieux maintenir la cohérence temporelle des vidéos générées. Pour démêler davantage les caractéristiques d'identité et de pose, nous construisons le jeu de données Triplet de Démêlage Attribut-Identité (AIDT), où chaque triplet comporte trois images de visage, avec deux images partageant la même pose et deux partageant la même identité. Enrichi d'une augmentation complète des occlusions, ce jeu de données améliore également la robustesse contre les occlusions. De plus, nous intégrons des techniques de reconstruction 3D en tant que conditionnement d'entrée à notre réseau pour gérer les grandes variations de pose. Des expériences approfondies démontrent que notre cadre atteint des performances supérieures en préservation de l'identité, en cohérence temporelle et en qualité visuelle par rapport aux méthodes existantes, tout en nécessitant moins d'étapes d'inférence. Notre approche atténue efficacement les principaux défis de l'échange de visages vidéo, notamment le scintillement temporel, la préservation de l'identité et la robustesse face aux occlusions et aux variations de pose.

English

Video face swapping is becoming increasingly popular across various applications, yet existing methods primarily focus on static images and struggle with video face swapping because of temporal consistency and complex scenarios. In this paper, we present the first diffusion-based framework specifically designed for video face swapping. Our approach introduces a novel image-video hybrid training framework that leverages both abundant static image data and temporal video sequences, addressing the inherent limitations of video-only training. The framework incorporates a specially designed diffusion model coupled with a VidFaceVAE that effectively processes both types of data to better maintain temporal coherence of the generated videos. To further disentangle identity and pose features, we construct the Attribute-Identity Disentanglement Triplet (AIDT) Dataset, where each triplet has three face images, with two images sharing the same pose and two sharing the same identity. Enhanced with a comprehensive occlusion augmentation, this dataset also improves robustness against occlusions. Additionally, we integrate 3D reconstruction techniques as input conditioning to our network for handling large pose variations. Extensive experiments demonstrate that our framework achieves superior performance in identity preservation, temporal consistency, and visual quality compared to existing methods, while requiring fewer inference steps. Our approach effectively mitigates key challenges in video face swapping, including temporal flickering, identity preservation, and robustness to occlusions and pose variations.