DreamID: Troca de Rosto Baseada em Difusão de Alta Fidelidade e Rápida via Aprendizado de Grupo Triplo de ID

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Autores: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Resumo

Neste artigo, apresentamos o DreamID, um modelo de troca de faces baseado em difusão que alcança altos níveis de similaridade de identidade (ID), preservação de atributos, fidelidade de imagem e velocidade rápida de inferência. Diferentemente do processo típico de treinamento para troca de faces, que frequentemente depende de supervisão implícita e luta para obter resultados satisfatórios, o DreamID estabelece uma supervisão explícita para a troca de faces ao construir dados de Grupo Triplo de ID, melhorando significativamente a similaridade de identidade e a preservação de atributos. A natureza iterativa dos modelos de difusão apresenta desafios para a utilização de funções de perda eficientes no espaço de imagem, uma vez que realizar amostragens demoradas em múltiplos passos para obter a imagem gerada durante o treinamento é impraticável. Para resolver esse problema, aproveitamos o modelo de difusão acelerado SD Turbo, reduzindo os passos de inferência para uma única iteração, permitindo um treinamento eficiente de ponta a ponta em nível de pixel com supervisão explícita do Grupo Triplo de ID. Além disso, propomos uma arquitetura de modelo baseada em difusão aprimorada, composta por SwapNet, FaceNet e ID Adapter. Essa arquitetura robusta libera todo o potencial da supervisão explícita do Grupo Triplo de ID. Por fim, para estender ainda mais nosso método, modificamos explicitamente os dados do Grupo Triplo de ID durante o treinamento para ajustar e preservar atributos específicos, como óculos e formato do rosto. Experimentos extensivos demonstram que o DreamID supera os métodos state-of-the-art em termos de similaridade de identidade, preservação de pose e expressão, e fidelidade de imagem. No geral, o DreamID alcança resultados de alta qualidade em troca de faces com resolução de 512*512 em apenas 0,6 segundos e se destaca em cenários desafiadores, como iluminação complexa, ângulos grandes e oclusões.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.