FilMaster: Uniendo los principios cinematográficos y la IA generativa para la generación automatizada de películas

FilMaster: Bridging Cinematic Principles and Generative AI for Automated Film Generation

June 23, 2025

Autores: Kaiyi Huang, Yukun Huang, Xintao Wang, Zinan Lin, Xuefei Ning, Pengfei Wan, Di Zhang, Yu Wang, Xihui Liu

cs.AI

Resumen

La creación de contenido impulsada por IA ha demostrado potencial en la producción cinematográfica. Sin embargo, los sistemas existentes de generación de películas tienen dificultades para implementar principios cinematográficos y, por lo tanto, no logran generar películas de calidad profesional, careciendo especialmente de un lenguaje de cámara diverso y un ritmo cinematográfico adecuado. Esto resulta en visuales estereotipados y narrativas poco atractivas. Para abordar este problema, presentamos FilMaster, un sistema de IA de extremo a extremo que integra principios cinematográficos del mundo real para la generación de películas de grado profesional, produciendo resultados editables y acordes a los estándares de la industria. FilMaster se basa en dos principios clave: (1) aprender cinematografía a partir de extensos datos de películas del mundo real y (2) emular flujos de trabajo de postproducción profesionales centrados en la audiencia. Inspirado por estos principios, FilMaster incorpora dos etapas: una Etapa de Generación Guiada por Referencias, que transforma la entrada del usuario en clips de video, y una Etapa de Postproducción Generativa, que convierte el material en bruto en resultados audiovisuales orquestando elementos visuales y auditivos para lograr un ritmo cinematográfico. Nuestra etapa de generación destaca un módulo de Diseño de Lenguaje de Cámara RAG Multi-toma Sincronizado, que guía a la IA en la generación de un lenguaje de cámara profesional al recuperar clips de referencia de un vasto corpus de 440,000 clips de películas. Nuestra etapa de postproducción emula flujos de trabajo profesionales mediante el diseño de un módulo de Control de Ritmo Cinematográfico Centrado en la Audiencia, que incluye procesos de Corte Preliminar y Corte Final informados por comentarios simulados de la audiencia, para una integración efectiva de elementos audiovisuales que logren contenido atractivo. El sistema está potenciado por modelos generativos de IA como (M)LLMs y modelos de generación de video. Además, presentamos FilmEval, un punto de referencia integral para evaluar películas generadas por IA. Experimentos extensos muestran el rendimiento superior de FilMaster en el diseño de lenguaje de cámara y el control del ritmo cinematográfico, avanzando en la IA generativa para la realización de películas profesionales.

English

AI-driven content creation has shown potential in film production. However, existing film generation systems struggle to implement cinematic principles and thus fail to generate professional-quality films, particularly lacking diverse camera language and cinematic rhythm. This results in templated visuals and unengaging narratives. To address this, we introduce FilMaster, an end-to-end AI system that integrates real-world cinematic principles for professional-grade film generation, yielding editable, industry-standard outputs. FilMaster is built on two key principles: (1) learning cinematography from extensive real-world film data and (2) emulating professional, audience-centric post-production workflows. Inspired by these principles, FilMaster incorporates two stages: a Reference-Guided Generation Stage which transforms user input to video clips, and a Generative Post-Production Stage which transforms raw footage into audiovisual outputs by orchestrating visual and auditory elements for cinematic rhythm. Our generation stage highlights a Multi-shot Synergized RAG Camera Language Design module to guide the AI in generating professional camera language by retrieving reference clips from a vast corpus of 440,000 film clips. Our post-production stage emulates professional workflows by designing an Audience-Centric Cinematic Rhythm Control module, including Rough Cut and Fine Cut processes informed by simulated audience feedback, for effective integration of audiovisual elements to achieve engaging content. The system is empowered by generative AI models like (M)LLMs and video generation models. Furthermore, we introduce FilmEval, a comprehensive benchmark for evaluating AI-generated films. Extensive experiments show FilMaster's superior performance in camera language design and cinematic rhythm control, advancing generative AI in professional filmmaking.