FilMaster: Conectando Princípios Cinematográficos e IA Generativa para a Geração Automatizada de Filmes

FilMaster: Bridging Cinematic Principles and Generative AI for Automated Film Generation

June 23, 2025

Autores: Kaiyi Huang, Yukun Huang, Xintao Wang, Zinan Lin, Xuefei Ning, Pengfei Wan, Di Zhang, Yu Wang, Xihui Liu

cs.AI

Resumo

A criação de conteúdo impulsionada por IA tem demonstrado potencial na produção cinematográfica. No entanto, os sistemas existentes de geração de filmes lutam para implementar princípios cinematográficos e, assim, falham em gerar filmes de qualidade profissional, especialmente devido à falta de diversidade na linguagem de câmera e no ritmo cinematográfico. Isso resulta em visuais padronizados e narrativas pouco envolventes. Para resolver isso, apresentamos o FilMaster, um sistema de IA de ponta a ponta que integra princípios cinematográficos do mundo real para a geração de filmes de nível profissional, produzindo resultados editáveis e compatíveis com padrões da indústria. O FilMaster é construído sobre dois princípios fundamentais: (1) aprender cinematografia a partir de extensos dados de filmes do mundo real e (2) emular fluxos de trabalho de pós-produção profissionais e centrados no público. Inspirado por esses princípios, o FilMaster incorpora duas etapas: uma Etapa de Geração Guiada por Referência, que transforma a entrada do usuário em clipes de vídeo, e uma Etapa de Pós-Produção Generativa, que transforma filmagens brutas em resultados audiovisuais, orquestrando elementos visuais e auditivos para criar ritmo cinematográfico. Nossa etapa de geração destaca um módulo de Design de Linguagem de Câmera RAG Sinergizado Multi-tomadas, que orienta a IA na geração de linguagem de câmera profissional ao recuperar clipes de referência de um vasto corpus de 440.000 clipes de filmes. Nossa etapa de pós-produção emula fluxos de trabalho profissionais ao projetar um módulo de Controle de Ritmo Cinematográfico Centrado no Público, incluindo processos de Rough Cut e Fine Cut informados por feedback simulado do público, para a integração eficaz de elementos audiovisuais e a criação de conteúdo envolvente. O sistema é impulsionado por modelos generativos de IA, como (M)LLMs e modelos de geração de vídeo. Além disso, introduzimos o FilmEval, um benchmark abrangente para avaliar filmes gerados por IA. Experimentos extensivos mostram o desempenho superior do FilMaster no design de linguagem de câmera e no controle de ritmo cinematográfico, avançando a IA generativa na produção cinematográfica profissional.

English

AI-driven content creation has shown potential in film production. However, existing film generation systems struggle to implement cinematic principles and thus fail to generate professional-quality films, particularly lacking diverse camera language and cinematic rhythm. This results in templated visuals and unengaging narratives. To address this, we introduce FilMaster, an end-to-end AI system that integrates real-world cinematic principles for professional-grade film generation, yielding editable, industry-standard outputs. FilMaster is built on two key principles: (1) learning cinematography from extensive real-world film data and (2) emulating professional, audience-centric post-production workflows. Inspired by these principles, FilMaster incorporates two stages: a Reference-Guided Generation Stage which transforms user input to video clips, and a Generative Post-Production Stage which transforms raw footage into audiovisual outputs by orchestrating visual and auditory elements for cinematic rhythm. Our generation stage highlights a Multi-shot Synergized RAG Camera Language Design module to guide the AI in generating professional camera language by retrieving reference clips from a vast corpus of 440,000 film clips. Our post-production stage emulates professional workflows by designing an Audience-Centric Cinematic Rhythm Control module, including Rough Cut and Fine Cut processes informed by simulated audience feedback, for effective integration of audiovisual elements to achieve engaging content. The system is empowered by generative AI models like (M)LLMs and video generation models. Furthermore, we introduce FilmEval, a comprehensive benchmark for evaluating AI-generated films. Extensive experiments show FilMaster's superior performance in camera language design and cinematic rhythm control, advancing generative AI in professional filmmaking.