FilMaster: Brückenschlag zwischen filmischen Prinzipien und generativer KI für die automatisierte Filmerstellung

FilMaster: Bridging Cinematic Principles and Generative AI for Automated Film Generation

June 23, 2025

Autoren: Kaiyi Huang, Yukun Huang, Xintao Wang, Zinan Lin, Xuefei Ning, Pengfei Wan, Di Zhang, Yu Wang, Xihui Liu

cs.AI

Zusammenfassung

KI-gestützte Inhaltserstellung hat Potenzial in der Filmproduktion gezeigt. Allerdings kämpfen bestehende Filmgenerierungssysteme damit, filmische Prinzipien umzusetzen, und scheitern daher daran, professionell hochwertige Filme zu erzeugen, insbesondere mangelt es an vielfältiger Kamerasprache und filmischem Rhythmus. Dies führt zu vorhersehbaren Bildern und wenig fesselnden Erzählungen. Um dies zu beheben, stellen wir FilMaster vor, ein End-to-End-KI-System, das reale filmische Prinzipien für die Erzeugung professioneller Filme integriert und bearbeitbare, industrieübliche Ergebnisse liefert. FilMaster basiert auf zwei Schlüsselprinzipien: (1) dem Erlernen der Kinematografie aus umfangreichen realen Filmdaten und (2) der Nachahmung professioneller, publikumsorientierter Postproduktions-Workflows. Inspiriert von diesen Prinzipien umfasst FilMaster zwei Phasen: eine Referenzgesteuerte Generierungsphase, die Benutzereingaben in Videoclips umwandelt, und eine Generative Postproduktionsphase, die Rohmaterial in audiovisuelle Ausgaben transformiert, indem visuelle und auditive Elemente für einen filmischen Rhythmus orchestriert werden. Unsere Generierungsphase hebt ein Multi-Shot Synergized RAG Camera Language Design-Modul hervor, das die KI anleitet, professionelle Kamerasprache zu erzeugen, indem Referenzclips aus einem umfangreichen Korpus von 440.000 Filmclips abgerufen werden. Unsere Postproduktionsphase ahmt professionelle Workflows nach, indem ein Audience-Centric Cinematic Rhythm Control-Modul entworfen wird, das Rough Cut und Fine Cut Prozesse umfasst, die durch simulierte Publikumsrückmeldungen informiert sind, um eine effektive Integration audiovisueller Elemente für fesselnde Inhalte zu erreichen. Das System wird durch generative KI-Modelle wie (M)LLMs und Videogenerierungsmodelle unterstützt. Darüber hinaus führen wir FilmEval ein, einen umfassenden Benchmark zur Bewertung von KI-generierten Filmen. Umfangreiche Experimente zeigen die überlegene Leistung von FilMaster in der Gestaltung der Kamerasprache und der Kontrolle des filmischen Rhythmus, wodurch generative KI in der professionellen Filmherstellung vorangetrieben wird.

English

AI-driven content creation has shown potential in film production. However, existing film generation systems struggle to implement cinematic principles and thus fail to generate professional-quality films, particularly lacking diverse camera language and cinematic rhythm. This results in templated visuals and unengaging narratives. To address this, we introduce FilMaster, an end-to-end AI system that integrates real-world cinematic principles for professional-grade film generation, yielding editable, industry-standard outputs. FilMaster is built on two key principles: (1) learning cinematography from extensive real-world film data and (2) emulating professional, audience-centric post-production workflows. Inspired by these principles, FilMaster incorporates two stages: a Reference-Guided Generation Stage which transforms user input to video clips, and a Generative Post-Production Stage which transforms raw footage into audiovisual outputs by orchestrating visual and auditory elements for cinematic rhythm. Our generation stage highlights a Multi-shot Synergized RAG Camera Language Design module to guide the AI in generating professional camera language by retrieving reference clips from a vast corpus of 440,000 film clips. Our post-production stage emulates professional workflows by designing an Audience-Centric Cinematic Rhythm Control module, including Rough Cut and Fine Cut processes informed by simulated audience feedback, for effective integration of audiovisual elements to achieve engaging content. The system is empowered by generative AI models like (M)LLMs and video generation models. Furthermore, we introduce FilmEval, a comprehensive benchmark for evaluating AI-generated films. Extensive experiments show FilMaster's superior performance in camera language design and cinematic rhythm control, advancing generative AI in professional filmmaking.