DreamID-V: Cerrando la Brecha entre Imagen y Video para el Intercambio Facial de Alta Fidelidad mediante Transformadores de Difusión

DreamID-V:Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer

January 4, 2026

Autores: Xu Guo, Fulong Ye, Xinghui Li, Pengqi Tu, Pengze Zhang, Qichao Sun, Songtao Zhao, Xiangwang Hou, Qian He

cs.AI

Resumen

El Intercambio de Caras en Video (VFS) requiere inyectar de forma imperceptible una identidad fuente en un video objetivo, preservando meticulosamente la pose, expresión, iluminación, fondo e información dinámica originales. Los métodos existentes tienen dificultades para mantener la similitud de identidad y la preservación de atributos, a la vez que conservan la coherencia temporal. Para abordar este desafío, proponemos un marco integral para transferir de forma fluida la superioridad del Intercambio de Caras en Imágenes (IFS) al dominio del video. Primero introducimos una novedosa canalización de datos, SyncID-Pipe, que pre-entrena un Sintetizador de Video Anclado por Identidad y lo combina con modelos IFS para construir cuadrupletos de ID bidireccionales que permitan una supervisión explícita. Sobre la base de datos emparejados, proponemos el primer marco basado en Transformadores de Difusión, DreamID-V, que emplea un módulo central de Condicionamiento Consciente de la Modalidad para inyectar de forma discriminatoria condiciones multi-modelo. Paralelamente, proponemos un mecanismo de Currículum de Sintético-a-Real y una estrategia de Aprendizaje por Refuerzo de Coherencia de Identidad para mejorar el realismo visual y la consistencia de la identidad en escenarios complejos. Para abordar el problema de la limitación de puntos de referencia, presentamos IDBench-V, un benchmark integral que abarca escenas diversas. Experimentos exhaustivos demuestran que DreamID-V supera a los métodos state-of-the-art y exhibe además una versatilidad excepcional, pudiendo adaptarse sin problemas a diversas tareas relacionadas con el intercambio.

English

Video Face Swapping (VFS) requires seamlessly injecting a source identity into a target video while meticulously preserving the original pose, expression, lighting, background, and dynamic information. Existing methods struggle to maintain identity similarity and attribute preservation while preserving temporal consistency. To address the challenge, we propose a comprehensive framework to seamlessly transfer the superiority of Image Face Swapping (IFS) to the video domain. We first introduce a novel data pipeline SyncID-Pipe that pre-trains an Identity-Anchored Video Synthesizer and combines it with IFS models to construct bidirectional ID quadruplets for explicit supervision. Building upon paired data, we propose the first Diffusion Transformer-based framework DreamID-V, employing a core Modality-Aware Conditioning module to discriminatively inject multi-model conditions. Meanwhile, we propose a Synthetic-to-Real Curriculum mechanism and an Identity-Coherence Reinforcement Learning strategy to enhance visual realism and identity consistency under challenging scenarios. To address the issue of limited benchmarks, we introduce IDBench-V, a comprehensive benchmark encompassing diverse scenes. Extensive experiments demonstrate DreamID-V outperforms state-of-the-art methods and further exhibits exceptional versatility, which can be seamlessly adapted to various swap-related tasks.