DreamID: Высококачественный и быстрый обмен лицами на основе диффузионных моделей с использованием тройного обучения групп идентификаторов

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Авторы: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Аннотация

В данной статье мы представляем DreamID — модель замены лиц на основе диффузии, которая достигает высокого уровня сходства идентификаторов, сохранения атрибутов, качества изображения и быстрой скорости вывода. В отличие от типичного процесса обучения замене лиц, который часто полагается на неявное управление и сталкивается с трудностями в достижении удовлетворительных результатов, DreamID устанавливает явное управление для замены лиц путем построения данных Triplet ID Group, что значительно улучшает сходство идентификаторов и сохранение атрибутов. Итерационная природа моделей диффузии создает сложности для использования эффективных функций потерь в пространстве изображений, так как выполнение трудоемкого многошагового сэмплирования для получения сгенерированного изображения во время обучения непрактично. Чтобы решить эту проблему, мы используем ускоренную модель диффузии SD Turbo, сокращая шаги вывода до одной итерации, что позволяет эффективно обучать модель на уровне пикселей с явным управлением Triplet ID Group. Кроме того, мы предлагаем улучшенную архитектуру модели на основе диффузии, включающую SwapNet, FaceNet и ID Adapter. Эта надежная архитектура полностью раскрывает потенциал явного управления Triplet ID Group. Наконец, для дальнейшего расширения нашего метода мы явно модифицируем данные Triplet ID Group во время обучения для тонкой настройки и сохранения конкретных атрибутов, таких как очки и форма лица. Многочисленные эксперименты демонстрируют, что DreamID превосходит современные методы по сходству идентификаторов, сохранению позы и выражения, а также качеству изображения. В целом, DreamID достигает высококачественных результатов замены лиц с разрешением 512*512 всего за 0,6 секунды и отлично справляется в сложных сценариях, таких как сложное освещение, большие углы и окклюзии.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.