Génération Automatisée de Films via une Planification Multi-Agents avec Chaîne de Pensée (CoT)

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

Auteurs: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

Résumé

Les frameworks existants de génération de vidéos longues manquent de planification automatisée, nécessitant une intervention manuelle pour les scénarios, les scènes, la cinématographie et les interactions entre personnages, ce qui entraîne des coûts élevés et des inefficacités. Pour relever ces défis, nous présentons MovieAgent, une génération automatisée de films via une planification en chaîne de pensée (CoT) multi-agents. MovieAgent offre deux avantages clés : 1) Nous explorons et définissons pour la première fois le paradigme de la génération automatisée de films/vidéos longues. À partir d'un script et d'une banque de personnages, notre MovieAgent génère des vidéos longues multi-scènes et multi-plans avec une narration cohérente, tout en garantissant la cohérence des personnages, des sous-titres synchronisés et une bande sonore stable tout au long du film. 2) MovieAgent introduit un processus de raisonnement hiérarchique basé sur la CoT pour structurer automatiquement les scènes, les réglages de caméra et la cinématographie, réduisant ainsi considérablement l'effort humain. En employant plusieurs agents LLM pour simuler les rôles d'un réalisateur, d'un scénariste, d'un artiste storyboard et d'un gestionnaire de lieux, MovieAgent rationalise le pipeline de production. Les expériences démontrent que MovieAgent atteint de nouveaux résultats de pointe en termes de fidélité au script, de cohérence des personnages et de cohérence narrative. Notre framework hiérarchique représente une avancée et offre de nouvelles perspectives sur la génération entièrement automatisée de films. Le code et le site web du projet sont disponibles à l'adresse : https://github.com/showlab/MovieAgent et https://weijiawu.github.io/MovieAgent.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.