DreamID: Scambio di volti ad alta fedeltà e veloce basato su diffusione attraverso l'apprendimento di gruppi di ID tripletto

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Autori: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Abstract

In questo articolo presentiamo DreamID, un modello di face swapping basato su diffusione che raggiunge elevati livelli di somiglianza dell'identità, conservazione degli attributi, fedeltà dell'immagine e velocità di inferenza. A differenza del tipico processo di addestramento per il face swapping, che spesso si affida a supervisione implicita e fatica a ottenere risultati soddisfacenti, DreamID stabilisce una supervisione esplicita per il face swapping costruendo dati di Triplet ID Group, migliorando significativamente la somiglianza dell'identità e la conservazione degli attributi. La natura iterativa dei modelli di diffusione pone sfide per l'utilizzo di funzioni di perdita efficienti nello spazio delle immagini, poiché eseguire un campionamento multi-step dispendioso in termini di tempo per ottenere l'immagine generata durante l'addestramento è impraticabile. Per affrontare questo problema, sfruttiamo il modello di diffusione accelerato SD Turbo, riducendo i passi di inferenza a una singola iterazione, consentendo un addestramento end-to-end efficiente a livello di pixel con supervisione esplicita del Triplet ID Group. Inoltre, proponiamo un'architettura di modello basata su diffusione migliorata, composta da SwapNet, FaceNet e ID Adapter. Questa architettura robusta sblocca appieno il potenziale della supervisione esplicita del Triplet ID Group. Infine, per estendere ulteriormente il nostro metodo, modifichiamo esplicitamente i dati del Triplet ID Group durante l'addestramento per affinare e preservare attributi specifici, come occhiali e forma del viso. Esperimenti estensivi dimostrano che DreamID supera i metodi all'avanguardia in termini di somiglianza dell'identità, conservazione di pose ed espressioni, e fedeltà dell'immagine. Nel complesso, DreamID raggiunge risultati di face swapping di alta qualità a una risoluzione di 512*512 in soli 0,6 secondi e si comporta eccezionalmente bene in scenari complessi come illuminazione intricata, angoli ampi e occlusioni.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.