Автоматизированное создание фильмов с помощью многоагентного планирования с использованием цепочек рассуждений (CoT)

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

Авторы: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

Аннотация

Существующие фреймворки для генерации длинных видеороликов не обладают автоматизированным планированием, требуя ручного ввода для создания сюжетных линий, сцен, операторской работы и взаимодействия персонажей, что приводит к высоким затратам и неэффективности. Для решения этих проблем мы представляем MovieAgent — систему автоматизированной генерации фильмов с использованием многоагентного планирования на основе цепочки рассуждений (Chain of Thought, CoT). MovieAgent предлагает два ключевых преимущества: 1) Мы впервые исследуем и определяем парадигму автоматизированной генерации фильмов/длинных видеороликов. Получив сценарий и базу персонажей, MovieAgent может создавать многосценовые, многокадровые длинные видеоролики с последовательным повествованием, обеспечивая при этом согласованность персонажей, синхронизированные субтитры и стабильный звук на протяжении всего фильма. 2) MovieAgent внедряет иерархический процесс рассуждений на основе CoT для автоматического структурирования сцен, настроек камеры и операторской работы, значительно сокращая усилия человека. Используя несколько агентов на основе больших языковых моделей (LLM) для имитации ролей режиссера, сценариста, художника раскадровки и менеджера по локациям, MovieAgent оптимизирует производственный процесс. Эксперименты показывают, что MovieAgent достигает новых передовых результатов в точности сценария, согласованности персонажей и связности повествования. Наш иерархический фреймворк делает шаг вперед и предоставляет новые идеи для полностью автоматизированной генерации фильмов. Код и проект доступны по адресам: https://github.com/showlab/MovieAgent и https://weijiawu.github.io/MovieAgent.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.