Mezcla de Personajes para la Generación de Videos

Character Mixing for Video Generation

October 6, 2025

Autores: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

cs.AI

Resumen

Imaginen a Mr. Bean entrando en el mundo de Tom y Jerry: ¿podemos generar videos en los que los personajes interactúen de manera natural a través de diferentes universos? Estudiamos la interacción entre personajes en la generación de texto a video, donde el desafío principal es preservar la identidad y los comportamientos de cada personaje mientras se permite una interacción coherente entre contextos diferentes. Esto es difícil porque los personajes pueden no haber coexistido nunca y porque la mezcla de estilos a menudo causa una ilusión de estilo, donde personajes realistas parecen caricaturescos o viceversa. Introducimos un marco que aborda estos problemas con la Incrustación Cruzada de Personajes (Cross-Character Embedding, CCE), que aprende la identidad y la lógica conductual a través de fuentes multimodales, y la Aumentación Cruzada de Personajes (Cross-Character Augmentation, CCA), que enriquece el entrenamiento con datos sintéticos de coexistencia y estilos mixtos. Juntas, estas técnicas permiten interacciones naturales entre personajes que antes no coexistían, sin perder la fidelidad estilística. Los experimentos en un conjunto de referencia curado de caricaturas y series de acción real con 10 personajes muestran mejoras claras en la preservación de la identidad, la calidad de la interacción y la robustez frente a la ilusión de estilo, permitiendo nuevas formas de narración generativa. Resultados adicionales y videos están disponibles en la página de nuestro proyecto: https://tingtingliao.github.io/mimix/.

English

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.