CINEMA: Generazione Coerente di Video Multi-Soggetto tramite Guida Basata su MLLM

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

Autori: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

Abstract

La generazione di video ha registrato progressi significativi con l'avvento dei modelli generativi profondi, in particolare i modelli di diffusione. Sebbene i metodi esistenti eccellano nella generazione di video di alta qualità a partire da prompt testuali o singole immagini, la generazione personalizzata di video con più soggetti rimane una sfida largamente inesplorata. Questo compito implica la sintesi di video che incorporano più soggetti distinti, ciascuno definito da immagini di riferimento separate, garantendo al contempo coerenza temporale e spaziale. Gli approcci attuali si basano principalmente sulla mappatura delle immagini dei soggetti a parole chiave nei prompt testuali, il che introduce ambiguità e limita la loro capacità di modellare efficacemente le relazioni tra i soggetti. In questo articolo, proponiamo CINEMA, un nuovo framework per la generazione coerente di video con più soggetti, sfruttando un Modello Linguistico Multimodale di Grande Scala (MLLM). Il nostro approccio elimina la necessità di corrispondenze esplicite tra immagini dei soggetti ed entità testuali, mitigando l'ambiguità e riducendo lo sforzo di annotazione. Sfruttando l'MLLM per interpretare le relazioni tra i soggetti, il nostro metodo facilita la scalabilità, consentendo l'uso di dataset ampi e diversificati per l'addestramento. Inoltre, il nostro framework può essere condizionato su un numero variabile di soggetti, offrendo una maggiore flessibilità nella creazione di contenuti personalizzati. Attraverso valutazioni estensive, dimostriamo che il nostro approccio migliora significativamente la coerenza dei soggetti e la coerenza complessiva del video, aprendo la strada a applicazioni avanzate nella narrazione, nei media interattivi e nella generazione personalizzata di video.

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.