FilmAgent：仮想3D空間におけるエンドツーエンドの映画自動化のためのマルチエージェントフレームワーク

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

著者: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

要旨

仮想映画制作には、台本執筆、仮想撮影、俳優の正確な配置と行動など、複雑な意思決定プロセスが必要です。言語エージェントベースの社会における自動意思決定の最近の進歩に触発され、本論文では、構築された3D仮想空間におけるエンドツーエンドの映画自動化のための新しいLLMベースのマルチエージェント協調フレームワークであるFilmAgentを紹介します。FilmAgentは、監督、脚本家、俳優、撮影監督など、さまざまなクルーの役割をシミュレートし、映画制作ワークフローの主要段階をカバーします：（1）アイデア開発は、ブレインストーミングされたアイデアを構造化されたストーリーの概要に変換します；（2）台本執筆は、各シーンの台詞やキャラクターの行動を詳細に説明します；（3）撮影は、各ショットのカメラセットアップを決定します。エージェントチームは、反復的なフィードバックと修正を通じて協力し、中間スクリプトを検証し幻影を減らします。我々は、15のアイデアと4つの主要な側面で生成されたビデオを評価します。人間の評価によると、FilmAgentはすべての側面ですべてのベースラインを上回り、平均で5点満点中3.98点を獲得し、映画制作におけるマルチエージェントの協力の実現可能性を示しています。さらなる分析では、FilmAgentは、より進んだGPT-4oモデルを使用していないにもかかわらず、単一エージェントo1を上回り、うまく調整されたマルチエージェントシステムの利点を示しています。最後に、OpenAIのテキストからビデオへのモデルSoraと当社のFilmAgentの補完的な強みと弱みについて議論します。

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.