DreamID-V: Преодоление разрыва между изображением и видео для высокоточной замены лиц с помощью диффузионного трансформатора

DreamID-V:Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer

January 4, 2026

Авторы: Xu Guo, Fulong Ye, Xinghui Li, Pengqi Tu, Pengze Zhang, Qichao Sun, Songtao Zhao, Xiangwang Hou, Qian He

cs.AI

Аннотация

Замена лиц в видео (Video Face Swapping, VFS) требует бесшовного внедрения исходной идентичности в целевое видео при тщательном сохранении исходной позы, выражения, освещения, фона и динамической информации. Существующие методы испытывают трудности с поддержанием сходства идентичности и сохранением атрибутов при обеспечении временной согласованности. Для решения этой задачи мы предлагаем комплексную структуру для бесшовного переноса преимуществ замены лиц на изображениях (Image Face Swapping, IFS) в видеодомен. Сначала мы представляем новый конвейер данных SyncID-Pipe, который предварительно обучает синтезатор видео с привязкой к идентичности и комбинирует его с моделями IFS для построения двунаправленных ID-четверок для явного контроля. На основе парных данных мы предлагаем первую структуру на основе диффузионного трансформера DreamID-V, использующую ключевой модуль Modality-Aware Conditioning для дискриминативного внедрения условий из нескольких моделей. Одновременно мы предлагаем механизм Synthetic-to-Real Curriculum и стратегию обучения с подкреплением на основе когерентности идентичности (Identity-Coherence Reinforcement Learning) для повышения визуального реализма и согласованности идентичности в сложных сценариях. Для решения проблемы ограниченности бенчмарков мы представляем IDBench-V — комплексный бенчмарк, охватывающий разнообразные сцены. Многочисленные эксперименты демонстрируют, что DreamID-V превосходит современные методы и дополнительно проявляет исключительную универсальность, позволяя бесшовно адаптироваться к различным задачам, связанным с заменой.

English

Video Face Swapping (VFS) requires seamlessly injecting a source identity into a target video while meticulously preserving the original pose, expression, lighting, background, and dynamic information. Existing methods struggle to maintain identity similarity and attribute preservation while preserving temporal consistency. To address the challenge, we propose a comprehensive framework to seamlessly transfer the superiority of Image Face Swapping (IFS) to the video domain. We first introduce a novel data pipeline SyncID-Pipe that pre-trains an Identity-Anchored Video Synthesizer and combines it with IFS models to construct bidirectional ID quadruplets for explicit supervision. Building upon paired data, we propose the first Diffusion Transformer-based framework DreamID-V, employing a core Modality-Aware Conditioning module to discriminatively inject multi-model conditions. Meanwhile, we propose a Synthetic-to-Real Curriculum mechanism and an Identity-Coherence Reinforcement Learning strategy to enhance visual realism and identity consistency under challenging scenarios. To address the issue of limited benchmarks, we introduce IDBench-V, a comprehensive benchmark encompassing diverse scenes. Extensive experiments demonstrate DreamID-V outperforms state-of-the-art methods and further exhibits exceptional versatility, which can be seamlessly adapted to various swap-related tasks.