DreamID-V: Colmare il divario tra immagine e video per lo scambio di volti ad alta fedeltà tramite Diffusion Transformer
DreamID-V:Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer
January 4, 2026
Autori: Xu Guo, Fulong Ye, Xinghui Li, Pengqi Tu, Pengze Zhang, Qichao Sun, Songtao Zhao, Xiangwang Hou, Qian He
cs.AI
Abstract
Lo Scambio di Volti nei Video (VFS) richiede l'inserimento perfetto di un'identità di origine in un video target, preservando meticolosamente la posa, l'espressione, l'illuminazione, lo sfondo e le informazioni dinamiche originali. I metodi esistenti faticano a mantenere simultaneamente la somiglianza dell'identità, la preservazione degli attributi e la coerenza temporale. Per affrontare questa sfida, proponiamo un framework completo per trasferire in modo fluido i vantaggi dello Scambio di Volti nelle Immagini (IFS) al dominio video. Inizialmente introduciamo una nuova pipeline di dati, SyncID-Pipe, che pre-addestra un Sintetizzatore Video ancorato all'Identità e lo combina con modelli IFS per costruire quadruplette ID bidirezionali per una supervisione esplicita. Basandoci su dati accoppiati, proponiamo il primo framework DreamID-V basato su Diffusion Transformer, impiegando un modulo centrale di Condizionamento Consapevole della Modalità per iniettare in modo discriminatorio condizioni multi-modello. Nel frattempo, proponiamo un meccanismo di Curriculum Sintetico-Reale e una strategia di Apprendimento per Rinforzo della Coerenza dell'Identità per migliorare il realismo visivo e la coerenza identitaria in scenari complessi. Per affrontare il problema della limitata disponibilità di benchmark, introduciamo IDBench-V, un benchmark completo che comprende scene diversificate. Esperimenti estensivi dimostrano che DreamID-V supera i metodi all'avanguardia ed esibisce un'eccezionale versatilità, potendosi adattare perfettamente a varie attività correlate allo scambio.
English
Video Face Swapping (VFS) requires seamlessly injecting a source identity into a target video while meticulously preserving the original pose, expression, lighting, background, and dynamic information. Existing methods struggle to maintain identity similarity and attribute preservation while preserving temporal consistency. To address the challenge, we propose a comprehensive framework to seamlessly transfer the superiority of Image Face Swapping (IFS) to the video domain. We first introduce a novel data pipeline SyncID-Pipe that pre-trains an Identity-Anchored Video Synthesizer and combines it with IFS models to construct bidirectional ID quadruplets for explicit supervision. Building upon paired data, we propose the first Diffusion Transformer-based framework DreamID-V, employing a core Modality-Aware Conditioning module to discriminatively inject multi-model conditions. Meanwhile, we propose a Synthetic-to-Real Curriculum mechanism and an Identity-Coherence Reinforcement Learning strategy to enhance visual realism and identity consistency under challenging scenarios. To address the issue of limited benchmarks, we introduce IDBench-V, a comprehensive benchmark encompassing diverse scenes. Extensive experiments demonstrate DreamID-V outperforms state-of-the-art methods and further exhibits exceptional versatility, which can be seamlessly adapted to various swap-related tasks.