Miscelazione di Caratteri per la Generazione di Video

Character Mixing for Video Generation

October 6, 2025

Autori: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

cs.AI

Abstract

Immaginate Mr. Bean che entra nel mondo di Tom e Jerry—possiamo generare video in cui i personaggi interagiscono naturalmente attraverso mondi diversi? Studiamo l'interazione tra personaggi nella generazione di video da testo, dove la sfida principale è preservare l'identità e i comportamenti di ciascun personaggio mentre si abilita un'interazione coerente tra contesti diversi. Questo è difficile perché i personaggi potrebbero non essere mai coesistiti e perché la mescolanza di stili spesso causa una "delusione stilistica", in cui personaggi realistici appaiono cartoneschi o viceversa. Introduciamo un framework che affronta questi problemi con l'Embedding Cross-Character (CCE), che apprende l'identità e la logica comportamentale da fonti multimodali, e l'Augmentation Cross-Character (CCA), che arricchisce l'addestramento con dati sintetici di coesistenza e stili misti. Insieme, queste tecniche consentono interazioni naturali tra personaggi che in precedenza non coesistevano, senza perdere la fedeltà stilistica. Esperimenti su un benchmark curato di cartoni animati e serie live-action con 10 personaggi mostrano miglioramenti evidenti nella preservazione dell'identità, nella qualità dell'interazione e nella robustezza alla delusione stilistica, abilitando nuove forme di narrazione generativa. Risultati aggiuntivi e video sono disponibili sulla pagina del nostro progetto: https://tingtingliao.github.io/mimix/.

English

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.