FilMaster: Соединение кинематографических принципов и генеративного ИИ для автоматизированного создания фильмов
FilMaster: Bridging Cinematic Principles and Generative AI for Automated Film Generation
June 23, 2025
Авторы: Kaiyi Huang, Yukun Huang, Xintao Wang, Zinan Lin, Xuefei Ning, Pengfei Wan, Di Zhang, Yu Wang, Xihui Liu
cs.AI
Аннотация
Создание контента с использованием ИИ продемонстрировало потенциал в кинопроизводстве. Однако существующие системы генерации фильмов испытывают трудности с реализацией кинематографических принципов и, как следствие, не способны создавать профессиональные фильмы, особенно из-за отсутствия разнообразного языка камеры и кинематографического ритма. Это приводит к шаблонной визуализации и неувлекательным сюжетам. Для решения этой проблемы мы представляем FilMaster — сквозную систему ИИ, которая интегрирует реальные кинематографические принципы для генерации профессиональных фильмов, создавая редактируемые результаты, соответствующие отраслевым стандартам. FilMaster основан на двух ключевых принципах: (1) обучение кинематографии на основе обширных данных из реальных фильмов и (2) имитация профессиональных, ориентированных на аудиторию процессов постпродакшна. Вдохновленные этими принципами, мы разработали FilMaster с двумя этапами: этап генерации с использованием референсов, который преобразует пользовательский ввод в видеоклипы, и этап генеративного постпродакшна, который превращает сырые кадры в аудиовизуальные результаты, организуя визуальные и звуковые элементы для достижения кинематографического ритма. На этапе генерации выделяется модуль Multi-shot Synergized RAG Camera Language Design, который направляет ИИ на создание профессионального языка камеры, извлекая референсные клипы из обширного корпуса из 440 000 фильмов. На этапе постпродакшна имитируются профессиональные процессы с помощью модуля Audience-Centric Cinematic Rhythm Control, включающего процессы Rough Cut и Fine Cut, основанные на симулированной обратной связи от аудитории, для эффективной интеграции аудиовизуальных элементов и создания увлекательного контента. Система поддерживается генеративными моделями ИИ, такими как (M)LLM и модели генерации видео. Кроме того, мы представляем FilmEval — комплексный бенчмарк для оценки фильмов, созданных ИИ. Многочисленные эксперименты демонстрируют превосходство FilMaster в проектировании языка камеры и управлении кинематографическим ритмом, продвигая генеративный ИИ в профессиональном кинопроизводстве.
English
AI-driven content creation has shown potential in film production. However,
existing film generation systems struggle to implement cinematic principles and
thus fail to generate professional-quality films, particularly lacking diverse
camera language and cinematic rhythm. This results in templated visuals and
unengaging narratives. To address this, we introduce FilMaster, an end-to-end
AI system that integrates real-world cinematic principles for
professional-grade film generation, yielding editable, industry-standard
outputs. FilMaster is built on two key principles: (1) learning cinematography
from extensive real-world film data and (2) emulating professional,
audience-centric post-production workflows. Inspired by these principles,
FilMaster incorporates two stages: a Reference-Guided Generation Stage which
transforms user input to video clips, and a Generative Post-Production Stage
which transforms raw footage into audiovisual outputs by orchestrating visual
and auditory elements for cinematic rhythm. Our generation stage highlights a
Multi-shot Synergized RAG Camera Language Design module to guide the AI in
generating professional camera language by retrieving reference clips from a
vast corpus of 440,000 film clips. Our post-production stage emulates
professional workflows by designing an Audience-Centric Cinematic Rhythm
Control module, including Rough Cut and Fine Cut processes informed by
simulated audience feedback, for effective integration of audiovisual elements
to achieve engaging content. The system is empowered by generative AI models
like (M)LLMs and video generation models. Furthermore, we introduce FilmEval, a
comprehensive benchmark for evaluating AI-generated films. Extensive
experiments show FilMaster's superior performance in camera language design and
cinematic rhythm control, advancing generative AI in professional filmmaking.