FilmAgent: Un framework multi-agente per l'automazione cinematografica end-to-end in spazi virtuali 3D.

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Autori: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Abstract

La produzione cinematografica virtuale richiede processi decisionali complessi, tra cui la scrittura della sceneggiatura, la cinematografia virtuale e il posizionamento preciso degli attori e delle azioni. Motivato dai recenti progressi nel processo decisionale automatizzato con società basate su agenti linguistici, questo articolo introduce FilmAgent, un nuovo framework collaborativo multi-agente basato su LLM per l'automazione cinematografica end-to-end nei nostri spazi virtuali 3D costruiti. FilmAgent simula vari ruoli di troupe, tra cui registi, sceneggiatori, attori e direttori della fotografia, e copre le fasi chiave di un flusso di lavoro di produzione cinematografica: (1) lo sviluppo dell'idea trasforma le idee generate in linee guida strutturate della storia; (2) la scrittura della sceneggiatura approfondisce i dialoghi e le azioni dei personaggi per ogni scena; (3) la cinematografia determina le impostazioni della telecamera per ogni inquadratura. Un team di agenti collabora attraverso feedback iterativi e revisioni, verificando così le sceneggiature intermedie e riducendo le allucinazioni. Valutiamo i video generati su 15 idee e 4 aspetti chiave. La valutazione umana mostra che FilmAgent supera tutti i modelli di riferimento su tutti gli aspetti e ottiene un punteggio medio di 3,98 su 5, dimostrando la fattibilità della collaborazione multi-agente nella produzione cinematografica. Un'ulteriore analisi rivela che FilmAgent, nonostante utilizzi il modello GPT-4o meno avanzato, supera il modello o1 a singolo agente, mostrando il vantaggio di un sistema multi-agente ben coordinato. Infine, discutiamo i punti di forza e di debolezza complementari del modello testo-video di OpenAI, Sora, e del nostro FilmAgent nella produzione cinematografica.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.