Generación Automatizada de Películas mediante Planificación CoT Multiagente

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

Autores: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

Resumen

Los marcos existentes para la generación de videos de larga duración carecen de planificación automatizada, requiriendo entrada manual para tramas, escenas, cinematografía e interacciones de personajes, lo que resulta en altos costos e ineficiencias. Para abordar estos desafíos, presentamos MovieAgent, una generación automatizada de películas mediante planificación de Cadena de Pensamiento (CoT) multiagente. MovieAgent ofrece dos ventajas clave: 1) Exploramos y definimos por primera vez el paradigma de la generación automatizada de películas/videos largos. Dado un guion y un banco de personajes, nuestro MovieAgent puede generar videos de larga duración con múltiples escenas y tomas, manteniendo una narrativa coherente, consistencia de personajes, subtítulos sincronizados y audio estable a lo largo de la película. 2) MovieAgent introduce un proceso de razonamiento jerárquico basado en CoT para estructurar automáticamente escenas, configuraciones de cámara y cinematografía, reduciendo significativamente el esfuerzo humano. Al emplear múltiples agentes de LLM para simular los roles de director, guionista, artista de storyboard y gerente de locaciones, MovieAgent optimiza la línea de producción. Los experimentos demuestran que MovieAgent alcanza nuevos resultados de vanguardia en fidelidad al guion, consistencia de personajes y coherencia narrativa. Nuestro marco jerárquico da un paso adelante y ofrece nuevas perspectivas sobre la generación completamente automatizada de películas. El código y el sitio web del proyecto están disponibles en: https://github.com/showlab/MovieAgent y https://weijiawu.github.io/MovieAgent.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.