ビデオ生成のためのキャラクターミキシング

Character Mixing for Video Generation

October 6, 2025

著者: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

cs.AI

要旨

ミスター・ビーンがトムとジェリーの世界に足を踏み入れる様子を想像してみてください。異なる世界のキャラクターが自然に相互作用する動画を生成することは可能でしょうか？私たちは、テキストから動画を生成する際のキャラクター間の相互作用について研究しています。ここでの重要な課題は、各キャラクターのアイデンティティと行動を保ちつつ、異なる文脈間での一貫した相互作用を可能にすることです。これは、キャラクターが共存したことがない場合や、スタイルを混ぜ合わせることでリアルなキャラクターが漫画風に見えたり、その逆が起こる「スタイルの混乱」が生じるため、困難です。私たちは、これらの問題に対処するためのフレームワークを提案します。このフレームワークでは、マルチモーダルソースにわたるアイデンティティと行動の論理を学習する「Cross-Character Embedding (CCE)」と、合成された共存データと混合スタイルデータを用いてトレーニングを強化する「Cross-Character Augmentation (CCA)」を導入します。これらの技術を組み合わせることで、これまで共存しなかったキャラクター間の自然な相互作用を、スタイルの忠実性を失うことなく実現します。10のキャラクターを含むアニメと実写シリーズのキュレーションベンチマークでの実験では、アイデンティティの保持、相互作用の質、スタイルの混乱に対するロバスト性の明らかな改善が見られ、新たな生成ストーリーテリングの形を可能にしました。追加の結果と動画はプロジェクトページでご覧いただけます：https://tingtingliao.github.io/mimix/。

English

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.