FilMaster: Colmare il Divario tra Principi Cinematografici e Intelligenza Artificiale Generativa per la Creazione Automatica di Film

FilMaster: Bridging Cinematic Principles and Generative AI for Automated Film Generation

June 23, 2025

Autori: Kaiyi Huang, Yukun Huang, Xintao Wang, Zinan Lin, Xuefei Ning, Pengfei Wan, Di Zhang, Yu Wang, Xihui Liu

cs.AI

Abstract

La creazione di contenuti guidata dall'IA ha dimostrato potenziale nella produzione cinematografica. Tuttavia, i sistemi esistenti per la generazione di film faticano a implementare principi cinematografici e, di conseguenza, non riescono a produrre film di qualità professionale, mancando in particolare di un linguaggio visivo diversificato e di un ritmo cinematografico efficace. Ciò si traduce in immagini stereotipate e narrazioni poco coinvolgenti. Per affrontare questo problema, introduciamo FilMaster, un sistema AI end-to-end che integra principi cinematografici del mondo reale per la generazione di film di livello professionale, producendo output modificabili e conformi agli standard del settore. FilMaster si basa su due principi chiave: (1) l'apprendimento della cinematografia da un vasto insieme di dati cinematografici reali e (2) l'emulazione di flussi di lavoro di post-produzione professionali e centrati sul pubblico. Ispirato da questi principi, FilMaster incorpora due fasi: una Fase di Generazione Guidata da Riferimenti, che trasforma l'input dell'utente in clip video, e una Fase di Post-Produzione Generativa, che trasforma il materiale grezzo in output audiovisivi orchestrando elementi visivi e sonori per ottenere un ritmo cinematografico. La nostra fase di generazione si distingue per un modulo di Progettazione del Linguaggio Visivo Multi-inquadratura Sinergizzato RAG, che guida l'IA nella generazione di un linguaggio visivo professionale recuperando clip di riferimento da un vasto corpus di 440.000 clip cinematografiche. La nostra fase di post-produzione emula i flussi di lavoro professionali attraverso un modulo di Controllo del Ritmo Cinematografico Centrato sul Pubblico, che include processi di Rough Cut e Fine Cut informati da feedback simulati del pubblico, per un'integrazione efficace degli elementi audiovisivi e la creazione di contenuti coinvolgenti. Il sistema è potenziato da modelli generativi di IA come (M)LLM e modelli di generazione video. Inoltre, introduciamo FilmEval, un benchmark completo per la valutazione di film generati dall'IA. Esperimenti estensivi dimostrano la superiorità di FilMaster nella progettazione del linguaggio visivo e nel controllo del ritmo cinematografico, avanzando l'uso dell'IA generativa nella produzione cinematografica professionale.

English

AI-driven content creation has shown potential in film production. However, existing film generation systems struggle to implement cinematic principles and thus fail to generate professional-quality films, particularly lacking diverse camera language and cinematic rhythm. This results in templated visuals and unengaging narratives. To address this, we introduce FilMaster, an end-to-end AI system that integrates real-world cinematic principles for professional-grade film generation, yielding editable, industry-standard outputs. FilMaster is built on two key principles: (1) learning cinematography from extensive real-world film data and (2) emulating professional, audience-centric post-production workflows. Inspired by these principles, FilMaster incorporates two stages: a Reference-Guided Generation Stage which transforms user input to video clips, and a Generative Post-Production Stage which transforms raw footage into audiovisual outputs by orchestrating visual and auditory elements for cinematic rhythm. Our generation stage highlights a Multi-shot Synergized RAG Camera Language Design module to guide the AI in generating professional camera language by retrieving reference clips from a vast corpus of 440,000 film clips. Our post-production stage emulates professional workflows by designing an Audience-Centric Cinematic Rhythm Control module, including Rough Cut and Fine Cut processes informed by simulated audience feedback, for effective integration of audiovisual elements to achieve engaging content. The system is empowered by generative AI models like (M)LLMs and video generation models. Furthermore, we introduce FilmEval, a comprehensive benchmark for evaluating AI-generated films. Extensive experiments show FilMaster's superior performance in camera language design and cinematic rhythm control, advancing generative AI in professional filmmaking.