Charakter-Mischung für die Videogenerierung

Character Mixing for Video Generation

October 6, 2025

papers.authors: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

cs.AI

papers.abstract

Stellen Sie sich vor, Mr. Bean tritt in die Welt von Tom und Jerry ein – können wir Videos generieren, in denen Charaktere auf natürliche Weise über verschiedene Welten hinweg interagieren? Wir untersuchen die Interaktion zwischen Charakteren in der Text-zu-Video-Generierung, wobei die größte Herausforderung darin besteht, die Identität und das Verhalten jedes Charakters zu bewahren, während gleichzeitig eine kohärente Interaktion über verschiedene Kontexte hinweg ermöglicht wird. Dies ist schwierig, da die Charaktere möglicherweise nie nebeneinander existiert haben und die Vermischung von Stilen oft zu einer Stilverwirrung führt, bei der realistische Charaktere cartoonhaft wirken oder umgekehrt. Wir stellen ein Framework vor, das diese Probleme mit Cross-Character Embedding (CCE) angeht, das Identität und Verhaltenslogik über multimodale Quellen hinweg lernt, und Cross-Character Augmentation (CCA), das das Training durch synthetische Koexistenz und gemischte Stildaten bereichert. Zusammen ermöglichen diese Techniken natürliche Interaktionen zwischen zuvor nicht koexistierenden Charakteren, ohne die stilistische Treue zu verlieren. Experimente auf einem kuratierten Benchmark von Cartoons und Live-Action-Serien mit 10 Charakteren zeigen deutliche Verbesserungen in der Identitätsbewahrung, der Interaktionsqualität und der Robustheit gegenüber Stilverwirrung, was neue Formen des generativen Geschichtenerzählens ermöglicht. Weitere Ergebnisse und Videos sind auf unserer Projektseite verfügbar: https://tingtingliao.github.io/mimix/.

English

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.