Reemplazo de Personajes en Video de Extremo a Extremo sin Guía Estructural
End-to-End Video Character Replacement without Structural Guidance
January 13, 2026
Autores: Zhengbo Xu, Jie Ma, Ziheng Wang, Zhan Peng, Jun Liang, Jing Li
cs.AI
Resumen
La sustitución controlada de personajes en video con una identidad proporcionada por el usuario sigue siendo un problema complejo debido a la falta de datos de video emparejados. Los trabajos anteriores se han basado predominantemente en un paradigma de reconstrucción que requiere máscaras de segmentación por fotograma y guías estructurales explícitas (por ejemplo, esqueleto, profundidad). Sin embargo, esta dependencia limita severamente su generalización en escenarios complejos que involucran oclusiones, interacciones personaje-objeto, poses inusuales o iluminación difícil, lo que a menudo genera artefactos visuales e inconsistencias temporales. En este artículo, proponemos MoCha, un marco pionero que evita estas limitaciones al requerir únicamente una máscara arbitraria de un solo fotograma. Para adaptar eficazmente la condición de entrada multimodal y mejorar la identidad facial, introducimos un RoPE consciente de la condición y empleamos una etapa de post-entrenamiento basada en RL. Además, para superar la escasez de datos de entrenamiento emparejados y calificados, proponemos una canalización integral de construcción de datos. Específicamente, diseñamos tres conjuntos de datos especializados: un conjunto de datos renderizado de alta fidelidad construido con Unreal Engine 5 (UE5), un conjunto de datos impulsado por expresiones sintetizado por técnicas actuales de animación de retratos, y un conjunto de datos aumentado derivado de pares de video-máscara existentes. Experimentos exhaustivos demuestran que nuestro método supera sustancialmente a los enfoques state-of-the-art existentes. Liberaremos el código para facilitar futuras investigaciones. Consulte nuestra página del proyecto para más detalles: orange-3dv-team.github.io/MoCha
English
Controllable video character replacement with a user-provided identity remains a challenging problem due to the lack of paired video data. Prior works have predominantly relied on a reconstruction-based paradigm that requires per-frame segmentation masks and explicit structural guidance (e.g., skeleton, depth). This reliance, however, severely limits their generalizability in complex scenarios involving occlusions, character-object interactions, unusual poses, or challenging illumination, often leading to visual artifacts and temporal inconsistencies. In this paper, we propose MoCha, a pioneering framework that bypasses these limitations by requiring only a single arbitrary frame mask. To effectively adapt the multi-modal input condition and enhance facial identity, we introduce a condition-aware RoPE and employ an RL-based post-training stage. Furthermore, to overcome the scarcity of qualified paired-training data, we propose a comprehensive data construction pipeline. Specifically, we design three specialized datasets: a high-fidelity rendered dataset built with Unreal Engine 5 (UE5), an expression-driven dataset synthesized by current portrait animation techniques, and an augmented dataset derived from existing video-mask pairs. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches. We will release the code to facilitate further research. Please refer to our project page for more details: orange-3dv-team.github.io/MoCha