CINEMA: Generazione Coerente di Video Multi-Soggetto tramite Guida Basata su MLLM
CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance
March 13, 2025
Autori: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma
cs.AI
Abstract
La generazione di video ha registrato progressi significativi con l'avvento dei modelli generativi profondi, in particolare i modelli di diffusione. Sebbene i metodi esistenti eccellano nella generazione di video di alta qualità a partire da prompt testuali o singole immagini, la generazione personalizzata di video con più soggetti rimane una sfida largamente inesplorata. Questo compito implica la sintesi di video che incorporano più soggetti distinti, ciascuno definito da immagini di riferimento separate, garantendo al contempo coerenza temporale e spaziale. Gli approcci attuali si basano principalmente sulla mappatura delle immagini dei soggetti a parole chiave nei prompt testuali, il che introduce ambiguità e limita la loro capacità di modellare efficacemente le relazioni tra i soggetti. In questo articolo, proponiamo CINEMA, un nuovo framework per la generazione coerente di video con più soggetti, sfruttando un Modello Linguistico Multimodale di Grande Scala (MLLM). Il nostro approccio elimina la necessità di corrispondenze esplicite tra immagini dei soggetti ed entità testuali, mitigando l'ambiguità e riducendo lo sforzo di annotazione. Sfruttando l'MLLM per interpretare le relazioni tra i soggetti, il nostro metodo facilita la scalabilità, consentendo l'uso di dataset ampi e diversificati per l'addestramento. Inoltre, il nostro framework può essere condizionato su un numero variabile di soggetti, offrendo una maggiore flessibilità nella creazione di contenuti personalizzati. Attraverso valutazioni estensive, dimostriamo che il nostro approccio migliora significativamente la coerenza dei soggetti e la coerenza complessiva del video, aprendo la strada a applicazioni avanzate nella narrazione, nei media interattivi e nella generazione personalizzata di video.
English
Video generation has witnessed remarkable progress with the advent of deep
generative models, particularly diffusion models. While existing methods excel
in generating high-quality videos from text prompts or single images,
personalized multi-subject video generation remains a largely unexplored
challenge. This task involves synthesizing videos that incorporate multiple
distinct subjects, each defined by separate reference images, while ensuring
temporal and spatial consistency. Current approaches primarily rely on mapping
subject images to keywords in text prompts, which introduces ambiguity and
limits their ability to model subject relationships effectively. In this paper,
we propose CINEMA, a novel framework for coherent multi-subject video
generation by leveraging Multimodal Large Language Model (MLLM). Our approach
eliminates the need for explicit correspondences between subject images and
text entities, mitigating ambiguity and reducing annotation effort. By
leveraging MLLM to interpret subject relationships, our method facilitates
scalability, enabling the use of large and diverse datasets for training.
Furthermore, our framework can be conditioned on varying numbers of subjects,
offering greater flexibility in personalized content creation. Through
extensive evaluations, we demonstrate that our approach significantly improves
subject consistency, and overall video coherence, paving the way for advanced
applications in storytelling, interactive media, and personalized video
generation.