CINEMA: Coherente Multi-Subject Videogeneratie via MLLM-Gestuurde Begeleiding

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

Auteurs: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

Samenvatting

Videogeneratie heeft een opmerkelijke vooruitgang geboekt met de komst van diepe generatieve modellen, met name diffusiemodellen. Hoewel bestaande methoden uitblinken in het genereren van hoogwaardige video's vanuit tekstprompts of enkele afbeeldingen, blijft gepersonaliseerde multi-subject videogeneratie een grotendeels onontgonnen uitdaging. Deze taak omvat het synthetiseren van video's die meerdere afzonderlijke onderwerpen bevatten, elk gedefinieerd door aparte referentieafbeeldingen, terwijl temporele en ruimtelijke consistentie wordt gewaarborgd. Huidige benaderingen zijn voornamelijk gebaseerd op het koppelen van onderwerpafbeeldingen aan trefwoorden in tekstprompts, wat ambiguïteit introduceert en hun vermogen om onderwerprelaties effectief te modelleren beperkt. In dit artikel stellen we CINEMA voor, een nieuw raamwerk voor coherente multi-subject videogeneratie door gebruik te maken van een Multimodaal Taalmodel op grote schaal (MLLM). Onze aanpak elimineert de noodzaak van expliciete correspondenties tussen onderwerpafbeeldingen en tekstentiteiten, waardoor ambiguïteit wordt verminderd en de annotatie-inspanning wordt verlaagd. Door MLLM te gebruiken om onderwerprelaties te interpreteren, vergemakkelijkt onze methode schaalbaarheid, waardoor het gebruik van grote en diverse datasets voor training mogelijk wordt. Bovendien kan ons raamwerk worden geconditioneerd op een variërend aantal onderwerpen, wat meer flexibiliteit biedt in gepersonaliseerde contentcreatie. Door middel van uitgebreide evaluaties tonen we aan dat onze aanpak de consistentie van onderwerpen en de algehele video-coherentie aanzienlijk verbetert, wat de weg vrijmaakt voor geavanceerde toepassingen in storytelling, interactieve media en gepersonaliseerde videogeneratie.

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.