End-to-End-Ersetzung von Videofiguren ohne strukturelle Vorgaben
End-to-End Video Character Replacement without Structural Guidance
January 13, 2026
papers.authors: Zhengbo Xu, Jie Ma, Ziheng Wang, Zhan Peng, Jun Liang, Jing Li
cs.AI
papers.abstract
Die steuerbare Ersetzung von Videofiguren mit einer benutzerdefinierten Identität bleibt aufgrund des Mangels an gepaarten Videodaten eine herausfordernde Aufgabe. Bisherige Arbeiten stützten sich überwiegend auf rekonstruktionsbasierte Paradigmen, die segmentierte Masken für jedes Einzelbild und explizite strukturelle Führungsinformationen (z.B. Skelett, Tiefe) erfordern. Diese Abhängigkeit schränkt jedoch ihre Generalisierbarkeit in komplexen Szenarien mit Verdeckungen, Figuren-Objekt-Interaktionen, ungewöhnlichen Posen oder schwierigen Lichtverhältnissen stark ein, was häufig zu visuellen Artefakten und zeitlichen Inkonsistenzen führt. In diesem Artikel stellen wir MoCha vor, ein bahnbrechendes Framework, das diese Einschränkungen umgeht, indem es nur eine einzige beliebige Einzelbildmaske benötigt. Um die multimodale Eingabebedingung effektiv anzupassen und die Gesichtsidentität zu verbessern, führen wir eine bedingungsabhängige RoPE ein und setzen eine RL-basierte Nachtrainingsphase ein. Darüber hinaus schlagen wir zur Bewältigung der Knappheit an qualifizierten gepaarten Trainingsdaten eine umfassende Datenkonstruktionspipeline vor. Konkret entwerfen wir drei spezialisierte Datensätze: einen hochwertig gerenderten Datensatz, der mit Unreal Engine 5 (UE5) erstellt wurde, einen ausdrucksgesteuerten Datensatz, der durch aktuelle Porträtanimationstechniken synthetisiert wird, und einen augmentierten Datensatz, der aus bestehenden Video-Masken-Paaren abgeleitet wird. Umfangreiche Experimente belegen, dass unsere Methode vorhandene state-of-the-art-Verfahren erheblich übertrifft. Wir werden den Code veröffentlichen, um die weitere Forschung zu erleichtern. Weitere Einzelheiten finden Sie auf unserer Projektseite: orange-3dv-team.github.io/MoCha
English
Controllable video character replacement with a user-provided identity remains a challenging problem due to the lack of paired video data. Prior works have predominantly relied on a reconstruction-based paradigm that requires per-frame segmentation masks and explicit structural guidance (e.g., skeleton, depth). This reliance, however, severely limits their generalizability in complex scenarios involving occlusions, character-object interactions, unusual poses, or challenging illumination, often leading to visual artifacts and temporal inconsistencies. In this paper, we propose MoCha, a pioneering framework that bypasses these limitations by requiring only a single arbitrary frame mask. To effectively adapt the multi-modal input condition and enhance facial identity, we introduce a condition-aware RoPE and employ an RL-based post-training stage. Furthermore, to overcome the scarcity of qualified paired-training data, we propose a comprehensive data construction pipeline. Specifically, we design three specialized datasets: a high-fidelity rendered dataset built with Unreal Engine 5 (UE5), an expression-driven dataset synthesized by current portrait animation techniques, and an augmented dataset derived from existing video-mask pairs. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches. We will release the code to facilitate further research. Please refer to our project page for more details: orange-3dv-team.github.io/MoCha