FilmAgent : Un cadre multi-agent pour l'automatisation cinématographique de bout en bout dans des espaces virtuels en 3D

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Auteurs: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Résumé

La production cinématographique virtuelle nécessite des processus décisionnels complexes, comprenant la rédaction de scénarios, la cinématographie virtuelle, et le positionnement précis des acteurs et de leurs actions. Inspiré par les récents progrès en matière de prise de décision automatisée avec des sociétés basées sur des agents linguistiques, cet article présente FilmAgent, un nouveau cadre collaboratif multi-agent basé sur LLM pour l'automatisation cinématographique de bout en bout dans nos espaces virtuels 3D construits. FilmAgent simule divers rôles d'équipe, incluant des réalisateurs, des scénaristes, des acteurs et des directeurs de la photographie, et couvre les étapes clés d'un flux de production cinématographique : (1) le développement de l'idée transforme les idées issues de séances de remue-méninges en des trames d'histoire structurées ; (2) la rédaction du scénario développe les dialogues et les actions des personnages pour chaque scène ; (3) la cinématographie détermine les configurations de caméra pour chaque plan. Une équipe d'agents collabore à travers des retours itératifs et des révisions, vérifiant ainsi les scénarios intermédiaires et réduisant les hallucinations. Nous évaluons les vidéos générées sur 15 idées et 4 aspects clés. L'évaluation humaine montre que FilmAgent surpasse toutes les références sur tous les aspects et obtient une note moyenne de 3,98 sur 5, démontrant la faisabilité de la collaboration multi-agent dans la réalisation cinématographique. Une analyse plus approfondie révèle que FilmAgent, malgré l'utilisation du modèle moins avancé GPT-4o, dépasse le modèle mono-agent o1, mettant en avant l'avantage d'un système multi-agent bien coordonné. Enfin, nous discutons des forces et faiblesses complémentaires du modèle texte-vidéo de OpenAI, Sora, et de notre FilmAgent dans la réalisation cinématographique.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.