Remplacement de Personnage Vidéo de Bout en Bout sans Guidage Structurel

End-to-End Video Character Replacement without Structural Guidance

January 13, 2026

papers.authors: Zhengbo Xu, Jie Ma, Ziheng Wang, Zhan Peng, Jun Liang, Jing Li

cs.AI

papers.abstract

Le remplacement contrôlé de personnages vidéo avec une identité fournie par l'utilisateur reste un problème difficile en raison du manque de données vidéo appariées. Les travaux antérieurs ont principalement reposé sur un paradigme basé sur la reconstruction qui nécessite des masques de segmentation par image et des guidages structurels explicites (par exemple, squelette, profondeur). Cette dépendance limite toutefois sévèrement leur généralisabilité dans des scénarios complexes impliquant des occlusions, des interactions personnage-objet, des poses inhabituelles ou un éclairage difficile, conduisant souvent à des artefacts visuels et des incohérences temporelles. Dans cet article, nous proposons MoCha, un cadre novateur qui contourne ces limitations en n'exigeant qu'un seul masque arbitraire sur une image. Pour adapter efficacement la condition d'entrée multi-modale et renforcer l'identité faciale, nous introduisons un RoPE sensible aux conditions et employons une étape de post-entraînement basée sur l'apprentissage par renforcement. De plus, pour pallier la rareté de données d'entraînement appariées de qualité, nous proposons un pipeline complet de construction de données. Plus précisément, nous concevons trois ensembles de données spécialisés : un ensemble de données rendu en haute fidélité construit avec Unreal Engine 5 (UE5), un ensemble de données piloté par les expressions synthétisé par les techniques actuelles d'animation de portrait, et un ensemble de données augmenté dérivé de paires vidéo-masques existantes. Des expériences approfondies démontrent que notre méthode surpasse substantiellement les approches état de l'art existantes. Nous publierons le code pour faciliter les recherches futures. Veuillez consulter notre page projet pour plus de détails : orange-3dv-team.github.io/MoCha

English

Controllable video character replacement with a user-provided identity remains a challenging problem due to the lack of paired video data. Prior works have predominantly relied on a reconstruction-based paradigm that requires per-frame segmentation masks and explicit structural guidance (e.g., skeleton, depth). This reliance, however, severely limits their generalizability in complex scenarios involving occlusions, character-object interactions, unusual poses, or challenging illumination, often leading to visual artifacts and temporal inconsistencies. In this paper, we propose MoCha, a pioneering framework that bypasses these limitations by requiring only a single arbitrary frame mask. To effectively adapt the multi-modal input condition and enhance facial identity, we introduce a condition-aware RoPE and employ an RL-based post-training stage. Furthermore, to overcome the scarcity of qualified paired-training data, we propose a comprehensive data construction pipeline. Specifically, we design three specialized datasets: a high-fidelity rendered dataset built with Unreal Engine 5 (UE5), an expression-driven dataset synthesized by current portrait animation techniques, and an augmented dataset derived from existing video-mask pairs. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches. We will release the code to facilitate further research. Please refer to our project page for more details: orange-3dv-team.github.io/MoCha