FilmAgent: Un marco de trabajo multiagente para la automatización integral de películas en espacios virtuales 3D.

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Autores: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Resumen

La producción de cine virtual requiere procesos de toma de decisiones intrincados, que incluyen la escritura de guiones, la cinematografía virtual y la precisa posición y acciones de los actores. Motivado por los avances recientes en la toma automatizada de decisiones con sociedades basadas en agentes de lenguaje, este documento presenta FilmAgent, un novedoso marco colaborativo multiagente basado en LLM para la automatización de películas de principio a fin en nuestros espacios virtuales 3D construidos. FilmAgent simula varios roles de equipo, incluidos directores, guionistas, actores y directores de fotografía, y abarca etapas clave de un flujo de trabajo de producción de películas: (1) el desarrollo de ideas transforma ideas generadas en tormenta en esquemas de historias estructuradas; (2) la escritura de guiones elabora diálogos y acciones de personajes para cada escena; (3) la cinematografía determina las configuraciones de cámara para cada toma. Un equipo de agentes colabora a través de retroalimentación iterativa y revisiones, verificando así guiones intermedios y reduciendo alucinaciones. Evaluamos los videos generados en 15 ideas y 4 aspectos clave. La evaluación humana muestra que FilmAgent supera a todos los baselines en todos los aspectos y obtiene un promedio de 3.98 sobre 5, demostrando la viabilidad de la colaboración multiagente en la realización de películas. Un análisis adicional revela que FilmAgent, a pesar de utilizar el modelo GPT-4o menos avanzado, supera al agente único o1, mostrando la ventaja de un sistema multiagente bien coordinado. Por último, discutimos las fortalezas y debilidades complementarias del modelo de texto a video de OpenAI, Sora, y nuestro FilmAgent en la realización de películas.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.