Geautomatiseerde Filmgeneratie via Multi-Agent CoT Planning

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

Auteurs: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

Samenvatting

Bestaande frameworks voor het genereren van lange video's ontberen automatische planning, waardoor handmatige invoer nodig is voor verhaallijnen, scènes, cinematografie en karakterinteracties, wat resulteert in hoge kosten en inefficiënties. Om deze uitdagingen aan te pakken, presenteren we MovieAgent, een automatisch filmgeneratiesysteem via multi-agent Chain of Thought (CoT) planning. MovieAgent biedt twee belangrijke voordelen: 1) We verkennen en definiëren als eerste het paradigma van automatische film/lange-video-generatie. Gegeven een script en een karakterbank, kan onze MovieAgent meer-scène, meer-shot lange video's genereren met een samenhangend verhaal, terwijl karakterconsistentie, gesynchroniseerde ondertiteling en stabiele audio gedurende de film worden gewaarborgd. 2) MovieAgent introduceert een hiërarchisch CoT-gebaseerd redeneerproces om scènes, camerainstellingen en cinematografie automatisch te structureren, waardoor de menselijke inspanning aanzienlijk wordt verminderd. Door meerdere LLM-agenten in te zetten om de rollen van een regisseur, scenarioschrijver, storyboardkunstenaar en locatiemanager te simuleren, stroomlijnt MovieAgent het productieproces. Experimenten tonen aan dat MovieAgent nieuwe state-of-the-art resultaten behaalt op het gebied van scriptgetrouwheid, karakterconsistentie en verhaalcoherentie. Ons hiërarchische framework zet een stap voorwaarts en biedt nieuwe inzichten in volledig geautomatiseerde filmgeneratie. De code en projectwebsite zijn beschikbaar op: https://github.com/showlab/MovieAgent en https://weijiawu.github.io/MovieAgent.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.