Смешивание персонажей для генерации видео

Character Mixing for Video Generation

October 6, 2025

Авторы: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

cs.AI

Аннотация

Представьте, что мистер Бин попадает в мир Тома и Джерри — можем ли мы создавать видео, где персонажи естественно взаимодействуют в разных вселенных? Мы исследуем межперсонажное взаимодействие в генерации видео из текста, где ключевая задача — сохранить идентичность и поведение каждого персонажа, обеспечивая при этом согласованное взаимодействие в разных контекстах. Это сложно, поскольку персонажи могли никогда не существовать вместе, а смешение стилей часто приводит к стилевой путанице, где реалистичные персонажи выглядят мультяшно, и наоборот. Мы представляем фреймворк, который решает эти проблемы с помощью Cross-Character Embedding (CCE), изучающего идентичность и поведенческую логику из мультимодальных источников, и Cross-Character Augmentation (CCA), обогащающего обучение синтетическими данными о совместном существовании и смешанных стилях. Вместе эти методы позволяют естественное взаимодействие между ранее не существовавшими вместе персонажами без потери стилистической достоверности. Эксперименты на специально созданном наборе данных из мультфильмов и сериалов с 10 персонажами показывают значительные улучшения в сохранении идентичности, качестве взаимодействия и устойчивости к стилевой путанице, открывая новые возможности для генеративного сторителлинга. Дополнительные результаты и видео доступны на странице проекта: https://tingtingliao.github.io/mimix/.

English

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.