CINEMA: Генерация согласованных многопредметных видео с использованием MLLM-ориентированного управления

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

Авторы: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

Аннотация

Генерация видео достигла значительного прогресса с появлением глубоких генеративных моделей, в частности, диффузионных моделей. Хотя существующие методы преуспевают в создании высококачественных видео на основе текстовых запросов или отдельных изображений, персонализированная генерация видео с участием нескольких объектов остается в значительной степени неисследованной задачей. Эта задача включает синтез видео, которые включают несколько различных объектов, каждый из которых определяется отдельными эталонными изображениями, при обеспечении временной и пространственной согласованности. Современные подходы в основном полагаются на сопоставление изображений объектов с ключевыми словами в текстовых запросах, что вносит неоднозначность и ограничивает их способность эффективно моделировать отношения между объектами. В данной статье мы предлагаем CINEMA, новый фреймворк для согласованной генерации видео с участием нескольких объектов, использующий Мультимодальную Большую Языковую Модель (MLLM). Наш подход устраняет необходимость явного соответствия между изображениями объектов и текстовыми сущностями, снижая неоднозначность и уменьшая объем аннотаций. Используя MLLM для интерпретации отношений между объектами, наш метод способствует масштабируемости, позволяя использовать большие и разнообразные наборы данных для обучения. Кроме того, наш фреймворк может быть адаптирован к различному количеству объектов, предлагая большую гибкость в создании персонализированного контента. В ходе обширных оценок мы демонстрируем, что наш подход значительно улучшает согласованность объектов и общую согласованность видео, прокладывая путь для передовых приложений в области сторителлинга, интерактивных медиа и персонализированной генерации видео.

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.