CINEMA：MLLMベースのガイダンスによる一貫性のあるマルチサブジェクト動画生成

CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance

March 13, 2025

著者: Yufan Deng, Xun Guo, Yizhi Wang, Jacob Zhiyuan Fang, Angtian Wang, Shenghai Yuan, Yiding Yang, Bo Liu, Haibin Huang, Chongyang Ma

cs.AI

要旨

ディープジェネレーティブモデル、特に拡散モデルの登場により、ビデオ生成は目覚ましい進歩を遂げてきました。既存の手法は、テキストプロンプトや単一画像から高品質なビデオを生成する点で優れていますが、パーソナライズされた複数主体のビデオ生成は、まだほとんど未開拓の課題です。このタスクでは、それぞれが別々の参照画像で定義された複数の異なる主体を組み込み、時間的および空間的な一貫性を保ちながらビデオを合成することが求められます。現在のアプローチは、主に主体画像をテキストプロンプト内のキーワードにマッピングすることに依存しており、曖昧さを引き起こし、主体間の関係を効果的にモデル化する能力を制限しています。本論文では、マルチモーダル大規模言語モデル（MLLM）を活用した、一貫性のある複数主体ビデオ生成のための新しいフレームワーク「CINEMA」を提案します。私たちのアプローチは、主体画像とテキストエンティティ間の明示的な対応関係を必要とせず、曖昧さを軽減し、アノテーション作業を削減します。MLLMを活用して主体間の関係を解釈することで、大規模で多様なデータセットをトレーニングに使用できるスケーラビリティを実現します。さらに、私たちのフレームワークは、異なる数の主体に条件付けすることが可能であり、パーソナライズされたコンテンツ作成においてより大きな柔軟性を提供します。広範な評価を通じて、私たちのアプローチが主体の一貫性とビデオ全体のコヒーレンスを大幅に改善し、ストーリーテリング、インタラクティブメディア、パーソナライズドビデオ生成における先進的な応用への道を開くことを実証します。

English

Video generation has witnessed remarkable progress with the advent of deep generative models, particularly diffusion models. While existing methods excel in generating high-quality videos from text prompts or single images, personalized multi-subject video generation remains a largely unexplored challenge. This task involves synthesizing videos that incorporate multiple distinct subjects, each defined by separate reference images, while ensuring temporal and spatial consistency. Current approaches primarily rely on mapping subject images to keywords in text prompts, which introduces ambiguity and limits their ability to model subject relationships effectively. In this paper, we propose CINEMA, a novel framework for coherent multi-subject video generation by leveraging Multimodal Large Language Model (MLLM). Our approach eliminates the need for explicit correspondences between subject images and text entities, mitigating ambiguity and reducing annotation effort. By leveraging MLLM to interpret subject relationships, our method facilitates scalability, enabling the use of large and diverse datasets for training. Furthermore, our framework can be conditioned on varying numbers of subjects, offering greater flexibility in personalized content creation. Through extensive evaluations, we demonstrate that our approach significantly improves subject consistency, and overall video coherence, paving the way for advanced applications in storytelling, interactive media, and personalized video generation.