CINEMA: Geração de Vídeo Coerente com Múltiplos Sujeitos via Orientação Baseada em MLLM

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

Autores: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

Resumo

A geração de vídeos tem testemunhado progressos notáveis com o advento de modelos generativos profundos, particularmente os modelos de difusão. Embora os métodos existentes se destaquem na geração de vídeos de alta qualidade a partir de prompts de texto ou imagens únicas, a geração de vídeos personalizados com múltiplos sujeitos permanece um desafio amplamente inexplorado. Essa tarefa envolve a síntese de vídeos que incorporam múltiplos sujeitos distintos, cada um definido por imagens de referência separadas, garantindo consistência temporal e espacial. As abordagens atuais dependem principalmente do mapeamento de imagens de sujeitos para palavras-chave em prompts de texto, o que introduz ambiguidade e limita sua capacidade de modelar efetivamente as relações entre os sujeitos. Neste artigo, propomos o CINEMA, uma nova estrutura para a geração coerente de vídeos com múltiplos sujeitos, aproveitando o Modelo de Linguagem Multimodal de Grande Escala (MLLM). Nossa abordagem elimina a necessidade de correspondências explícitas entre imagens de sujeitos e entidades de texto, mitigando a ambiguidade e reduzindo o esforço de anotação. Ao utilizar o MLLM para interpretar as relações entre os sujeitos, nosso método facilita a escalabilidade, permitindo o uso de grandes e diversos conjuntos de dados para treinamento. Além disso, nossa estrutura pode ser condicionada a um número variável de sujeitos, oferecendo maior flexibilidade na criação de conteúdo personalizado. Por meio de avaliações extensivas, demonstramos que nossa abordagem melhora significativamente a consistência dos sujeitos e a coerência geral do vídeo, abrindo caminho para aplicações avançadas em narrativas, mídia interativa e geração de vídeos personalizados.

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.