VFX Creator: Generatie van Geanimeerde Visuele Effecten met Controleerbare Diffusie Transformer

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Auteurs: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Samenvatting

Het creëren van magie en illusies is een van de meest opwindende aspecten van filmmaken, waarbij visuele effecten (VFX) fungeren als de krachtbron achter onvergetelijke filmervaringen. Terwijl recente ontwikkelingen in generatieve kunstmatige intelligentie vooruitgang hebben geboekt in generieke beeld- en videosynthese, blijft het domein van controleerbare VFX-generatie relatief onderbelicht. In dit werk stellen we een nieuw paradigma voor geanimeerde VFX-generatie voor als beeldanimatie, waar dynamische effecten worden gegenereerd vanuit gebruiksvriendelijke tekstuele beschrijvingen en statische referentieafbeeldingen. Ons werk levert twee belangrijke bijdragen: (i) Open-VFX, de eerste hoogwaardige VFX-video dataset die 15 diverse effectcategorieën bestrijkt, geannoteerd met tekstuele beschrijvingen, instantiesegmentatiemaskers voor ruimtelijke conditionering, en start-eindtijdstempels voor temporele controle. (ii) VFX Creator, een eenvoudig maar effectief controleerbaar VFX-generatiekader gebaseerd op een Video Diffusion Transformer. Het model bevat een ruimtelijk en temporeel controleerbaar LoRA-adapter, met minimale trainingsvideo's. Specifiek maakt een plug-and-play maskerbesturingsmodule instantieniveau ruimtelijke manipulatie mogelijk, terwijl getokeniseerde start-eindbewegingstijdstempels ingebed in het diffusieproces, samen met de tekstencoder, precieze temporele controle bieden over effecttiming en tempo. Uitgebreide experimenten op de Open-VFX testset tonen de superioriteit van het voorgestelde systeem aan in het genereren van realistische en dynamische effecten, met het behalen van state-of-the-art prestaties en generalisatievermogen op zowel ruimtelijke als temporele controleerbaarheid. Bovendien introduceren we een gespecialiseerde metriek om de precisie van temporele controle te evalueren. Door traditionele VFX-technieken te verbinden met generatieve benaderingen, ontsluit VFX Creator nieuwe mogelijkheden voor efficiënte en hoogwaardige videofx-generatie, waardoor geavanceerde VFX toegankelijk worden voor een breder publiek.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.