FilmAgent: Um Framework Multiagente para Automação de Filmes de Ponta a Ponta em Espaços Virtuais 3D

FilmAgent: A Multi-Agent Framework for End-to-End Film Automation in Virtual 3D Spaces

January 22, 2025

Autores: Zhenran Xu, Longyue Wang, Jifang Wang, Zhouyi Li, Senbao Shi, Xue Yang, Yiyu Wang, Baotian Hu, Jun Yu, Min Zhang

cs.AI

Resumo

A produção de filmes virtuais requer processos de tomada de decisão intricados, incluindo escrita de roteiro, cinematografia virtual e posicionamento preciso de atores e ações. Motivado pelos avanços recentes em tomada de decisão automatizada com sociedades baseadas em agentes de linguagem, este artigo apresenta o FilmAgent, um novo framework colaborativo multiagente baseado em LLM para automação de filmes de ponta a ponta em nossos espaços virtuais 3D construídos. O FilmAgent simula vários papéis da equipe, incluindo diretores, roteiristas, atores e cinematógrafos, e abrange etapas-chave de um fluxo de trabalho de produção de filmes: (1) o desenvolvimento da ideia transforma ideias geradas em brainstorming em esboços de histórias estruturadas; (2) a escrita de roteiro elabora diálogos e ações dos personagens para cada cena; (3) a cinematografia determina as configurações de câmera para cada tomada. Uma equipe de agentes colabora por meio de feedbacks iterativos e revisões, verificando assim roteiros intermediários e reduzindo alucinações. Avaliamos os vídeos gerados em 15 ideias e 4 aspectos-chave. A avaliação humana mostra que o FilmAgent supera todos os baselines em todos os aspectos e pontua em média 3,98 de 5, demonstrando a viabilidade da colaboração multiagente na produção cinematográfica. Uma análise adicional revela que o FilmAgent, apesar de utilizar o modelo GPT-4o menos avançado, supera o agente único o1, mostrando a vantagem de um sistema multiagente bem coordenado. Por fim, discutimos as forças e fraquezas complementares do modelo texto-vídeo da OpenAI, Sora, e do nosso FilmAgent na produção cinematográfica.

English

Virtual film production requires intricate decision-making processes, including scriptwriting, virtual cinematography, and precise actor positioning and actions. Motivated by recent advances in automated decision-making with language agent-based societies, this paper introduces FilmAgent, a novel LLM-based multi-agent collaborative framework for end-to-end film automation in our constructed 3D virtual spaces. FilmAgent simulates various crew roles, including directors, screenwriters, actors, and cinematographers, and covers key stages of a film production workflow: (1) idea development transforms brainstormed ideas into structured story outlines; (2) scriptwriting elaborates on dialogue and character actions for each scene; (3) cinematography determines the camera setups for each shot. A team of agents collaborates through iterative feedback and revisions, thereby verifying intermediate scripts and reducing hallucinations. We evaluate the generated videos on 15 ideas and 4 key aspects. Human evaluation shows that FilmAgent outperforms all baselines across all aspects and scores 3.98 out of 5 on average, showing the feasibility of multi-agent collaboration in filmmaking. Further analysis reveals that FilmAgent, despite using the less advanced GPT-4o model, surpasses the single-agent o1, showing the advantage of a well-coordinated multi-agent system. Lastly, we discuss the complementary strengths and weaknesses of OpenAI's text-to-video model Sora and our FilmAgent in filmmaking.