VFX-Ersteller: Generierung animierter visueller Effekte mit steuerbarem Diffusions-Transformer

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Autoren: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Zusammenfassung

Das Gestalten von Magie und Illusionen ist einer der faszinierendsten Aspekte der Filmproduktion, wobei visuelle Effekte (VFX) als treibende Kraft hinter unvergesslichen Kinoerlebnissen dienen. Während jüngste Fortschritte in der generativen künstlichen Intelligenz Fortschritte bei der generischen Bild- und Videosynthese vorangetrieben haben, bleibt das Gebiet der steuerbaren VFX-Erzeugung relativ unerforscht. In dieser Arbeit schlagen wir ein neuartiges Paradigma für animierte VFX-Erzeugung als Bildanimation vor, bei der dynamische Effekte aus benutzerfreundlichen textuellen Beschreibungen und statischen Referenzbildern generiert werden. Unsere Arbeit leistet zwei Hauptbeiträge: (i) Open-VFX, den ersten hochwertigen VFX-Video-Datensatz, der 15 verschiedene Effektkategorien umfasst, annotiert mit textuellen Beschreibungen, Instanzsegmentierungsmasken für räumliche Konditionierung und Start-End-Zeitstempeln für zeitliche Steuerung. (ii) VFX Creator, ein einfaches, aber effektives steuerbares VFX-Erzeugungsframework basierend auf einem Video Diffusion Transformer. Das Modell integriert einen räumlichen und zeitlichen steuerbaren LoRA-Adapter, der nur minimale Trainingsvideos erfordert. Insbesondere ermöglicht ein Plug-and-Play-Maskensteuermodul eine räumliche Manipulation auf Instanzebene, während tokenisierte Start-End-Bewegungszeitstempel in den Diffusionsprozess eingebettet sind, zusammen mit dem Text-Encoder, um eine präzise zeitliche Steuerung über Effektzeitpunkt und -tempo zu ermöglichen. Umfangreiche Experimente am Open-VFX-Testset zeigen die Überlegenheit des vorgeschlagenen Systems bei der Erzeugung realistischer und dynamischer Effekte, wodurch eine Spitzenleistung und Generalisierungsfähigkeit sowohl in räumlicher als auch zeitlicher Steuerbarkeit erreicht wird. Darüber hinaus führen wir eine spezialisierte Metrik ein, um die Präzision der zeitlichen Steuerung zu bewerten. Indem wir traditionelle VFX-Techniken mit generativen Ansätzen verbinden, eröffnet VFX Creator neue Möglichkeiten für eine effiziente und hochwertige Videoeffekterzeugung und macht fortschrittliche VFX einem breiteren Publikum zugänglich.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.