다중 에이전트 CoT 기획을 통한 자동 영화 생성

Automated Movie Generation via Multi-Agent CoT Planning

March 10, 2025

저자: Weijia Wu, Zeyu Zhu, Mike Zheng Shou

cs.AI

초록

기존의 장편 비디오 생성 프레임워크는 자동화된 기획 기능이 부족하여 스토리라인, 장면, 촬영 기법, 캐릭터 상호작용 등을 수동으로 입력해야 하기 때문에 높은 비용과 비효율성이 발생합니다. 이러한 문제를 해결하기 위해, 우리는 다중 에이전트 Chain of Thought (CoT) 기획을 통한 자동화된 영화 생성 시스템인 MovieAgent를 제안합니다. MovieAgent는 두 가지 주요 장점을 제공합니다: 1) 우리는 자동화된 영화/장편 비디오 생성 패러다임을 처음으로 탐구하고 정의합니다. 스크립트와 캐릭터 뱅크가 주어지면, MovieAgent는 일관된 내러티브를 가진 다중 장면, 다중 샷의 장편 비디오를 생성하며, 캐릭터 일관성, 동기화된 자막, 안정적인 오디오를 영화 전반에 걸쳐 보장합니다. 2) MovieAgent는 계층적 CoT 기반 추론 프로세스를 도입하여 장면 구조, 카메라 설정, 촬영 기법을 자동으로 구성함으로써 인간의 노력을 크게 줄입니다. 감독, 시나리오 작가, 스토리보드 아티스트, 로케이션 매니저의 역할을 시뮬레이션하는 다중 LLM 에이전트를 활용함으로써, MovieAgent는 제작 파이프라인을 간소화합니다. 실험 결과, MovieAgent는 스크립트 충실도, 캐릭터 일관성, 내러티브 일관성에서 새로운 최첨단 결과를 달성함을 보여줍니다. 우리의 계층적 프레임워크는 완전히 자동화된 영화 생성에 대한 새로운 통찰을 제공하며 한 걸음 더 나아갑니다. 코드와 프로젝트 웹사이트는 https://github.com/showlab/MovieAgent와 https://weijiawu.github.io/MovieAgent에서 확인할 수 있습니다.

English

Existing long-form video generation frameworks lack automated planning, requiring manual input for storylines, scenes, cinematography, and character interactions, resulting in high costs and inefficiencies. To address these challenges, we present MovieAgent, an automated movie generation via multi-agent Chain of Thought (CoT) planning. MovieAgent offers two key advantages: 1) We firstly explore and define the paradigm of automated movie/long-video generation. Given a script and character bank, our MovieAgent can generates multi-scene, multi-shot long-form videos with a coherent narrative, while ensuring character consistency, synchronized subtitles, and stable audio throughout the film. 2) MovieAgent introduces a hierarchical CoT-based reasoning process to automatically structure scenes, camera settings, and cinematography, significantly reducing human effort. By employing multiple LLM agents to simulate the roles of a director, screenwriter, storyboard artist, and location manager, MovieAgent streamlines the production pipeline. Experiments demonstrate that MovieAgent achieves new state-of-the-art results in script faithfulness, character consistency, and narrative coherence. Our hierarchical framework takes a step forward and provides new insights into fully automated movie generation. The code and project website are available at: https://github.com/showlab/MovieAgent and https://weijiawu.github.io/MovieAgent.