マルチエージェントCoTプランニングによる自動映画生成

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

著者: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

要旨

既存の長編動画生成フレームワークは自動化された計画機能を欠いており、ストーリーライン、シーン、撮影技法、キャラクター間の相互作用などに手動での入力を必要とし、その結果、高コストと非効率性が生じています。これらの課題に対処するため、我々はマルチエージェントの連鎖的思考（CoT）計画による自動映画生成システム「MovieAgent」を提案します。MovieAgentには2つの主要な利点があります：1）我々は初めて、自動化された映画/長編動画生成のパラダイムを探求し定義しました。スクリプトとキャラクターバンクが与えられると、MovieAgentは一貫したナラティブを持つ複数シーン、複数ショットの長編動画を生成し、キャラクターの一貫性、同期した字幕、安定した音声を映画全体で確保します。2）MovieAgentは、階層的なCoTベースの推論プロセスを導入し、シーン構成、カメラ設定、撮影技法を自動的に構造化することで、人間の労力を大幅に削減します。複数のLLMエージェントを用いて監督、脚本家、ストーリーボードアーティスト、ロケーションマネージャーの役割をシミュレートすることで、MovieAgentは制作プロセスを効率化します。実験により、MovieAgentはスクリプトの忠実度、キャラクターの一貫性、ナラティブの一貫性において新たな最先端の結果を達成することが示されました。我々の階層的フレームワークは、完全自動化された映画生成に向けた一歩前進を実現し、新たな洞察を提供します。コードとプロジェクトウェブサイトは以下で公開されています：https://github.com/showlab/MovieAgent および https://weijiawu.github.io/MovieAgent。

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.