DreamID : Échange de visages par diffusion haute fidélité et rapide via l'apprentissage par groupe triplet d'identité

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Auteurs: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Résumé

Dans cet article, nous présentons DreamID, un modèle d'échange de visages basé sur la diffusion qui atteint des niveaux élevés de similarité d'identité, de préservation des attributs, de fidélité de l'image et de vitesse d'inférence rapide. Contrairement au processus typique d'entraînement pour l'échange de visages, qui repose souvent sur une supervision implicite et peine à obtenir des résultats satisfaisants, DreamID établit une supervision explicite pour l'échange de visages en construisant des données de groupe Triplet ID, améliorant ainsi significativement la similarité d'identité et la préservation des attributs. La nature itérative des modèles de diffusion pose des défis pour l'utilisation de fonctions de perte efficaces dans l'espace image, car effectuer un échantillonnage multi-étapes chronophage pour obtenir l'image générée pendant l'entraînement est peu pratique. Pour résoudre ce problème, nous exploitons le modèle de diffusion accéléré SD Turbo, réduisant les étapes d'inférence à une seule itération, permettant ainsi un entraînement efficace de bout en bout au niveau des pixels avec une supervision explicite du groupe Triplet ID. De plus, nous proposons une architecture de modèle basée sur la diffusion améliorée comprenant SwapNet, FaceNet et ID Adapter. Cette architecture robuste libère pleinement la puissance de la supervision explicite du groupe Triplet ID. Enfin, pour étendre davantage notre méthode, nous modifions explicitement les données du groupe Triplet ID pendant l'entraînement pour affiner et préserver des attributs spécifiques, tels que les lunettes et la forme du visage. Des expériences approfondies démontrent que DreamID surpasse les méthodes de pointe en termes de similarité d'identité, de préservation de la pose et de l'expression, et de fidélité de l'image. Globalement, DreamID atteint des résultats d'échange de visages de haute qualité à une résolution de 512*512 en seulement 0,6 seconde et performe exceptionnellement bien dans des scénarios difficiles tels que des éclairages complexes, des angles importants et des occlusions.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.