CINEMA : Génération cohérente de vidéos multi-sujets via un guidage basé sur MLLM

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

Auteurs: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

Résumé

La génération de vidéos a connu des progrès remarquables avec l'avènement des modèles génératifs profonds, en particulier les modèles de diffusion. Bien que les méthodes existantes excellent dans la génération de vidéos de haute qualité à partir de prompts textuels ou d'images uniques, la génération de vidéos personnalisées impliquant plusieurs sujets reste un défi largement inexploré. Cette tâche consiste à synthétiser des vidéos incorporant plusieurs sujets distincts, chacun défini par des images de référence séparées, tout en assurant une cohérence temporelle et spatiale. Les approches actuelles reposent principalement sur la correspondance entre les images des sujets et les mots-clés dans les prompts textuels, ce qui introduit une ambiguïté et limite leur capacité à modéliser efficacement les relations entre les sujets. Dans cet article, nous proposons CINEMA, un nouveau cadre pour la génération cohérente de vidéos multi-sujets en exploitant un Modèle de Langage Multimodal à Grande Échelle (MLLM). Notre approche élimine le besoin de correspondances explicites entre les images des sujets et les entités textuelles, atténuant ainsi l'ambiguïté et réduisant l'effort d'annotation. En utilisant le MLLM pour interpréter les relations entre les sujets, notre méthode facilite la scalabilité, permettant l'utilisation de grands ensembles de données diversifiés pour l'entraînement. De plus, notre cadre peut être conditionné sur un nombre variable de sujets, offrant une plus grande flexibilité dans la création de contenu personnalisé. À travers des évaluations approfondies, nous démontrons que notre approche améliore significativement la cohérence des sujets et la cohérence globale des vidéos, ouvrant la voie à des applications avancées dans la narration, les médias interactifs et la génération de vidéos personnalisées.

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.