Creatore VFX: Generazione di Effetti Visivi Animati con Trasformatore a Diffusione Controllabile

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Autori: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Abstract

Creare magia e illusioni è uno degli aspetti più entusiasmanti della produzione cinematografica, con gli effetti visivi (VFX) che fungono da motore principale di esperienze cinematografiche indimenticabili. Mentre i recenti progressi nell'intelligenza artificiale generativa hanno spinto avanti la sintesi generica di immagini e video, il dominio della generazione controllabile di VFX rimane relativamente inesplorato. In questo lavoro, proponiamo un nuovo paradigma per la generazione di VFX animati come animazione di immagini, dove gli effetti dinamici sono generati da descrizioni testuali facili da usare e immagini di riferimento statiche. Il nostro lavoro apporta due contributi principali: (i) Open-VFX, il primo dataset video di alta qualità di VFX che copre 15 diverse categorie di effetti, annotato con descrizioni testuali, maschere di segmentazione delle istanze per il condizionamento spaziale e timestamp di inizio-fine per il controllo temporale. (ii) VFX Creator, un framework di generazione di VFX controllabile semplice ma efficace basato su un Trasformatore di Diffusione Video. Il modello incorpora un adattatore LoRA controllabile spazialmente e temporalmente, richiedendo un numero minimo di video di addestramento. In particolare, un modulo di controllo delle maschere plug-and-play consente la manipolazione spaziale a livello di istanza, mentre i timestamp di movimento di inizio-fine tokenizzati incorporati nel processo di diffusione, insieme all'encoder di testo, consentono un controllo temporale preciso sulla tempistica e il ritmo degli effetti. Esperimenti estesi sul set di test di Open-VFX dimostrano la superiorità del sistema proposto nella generazione di effetti realistici e dinamici, raggiungendo prestazioni all'avanguardia e capacità di generalizzazione sia nella controllabilità spaziale che temporale. Inoltre, introduciamo una metrica specializzata per valutare la precisione del controllo temporale. Unendo le tecniche tradizionali di VFX agli approcci generativi, VFX Creator sblocca nuove possibilità per la generazione efficiente e di alta qualità di effetti video, rendendo i VFX avanzati accessibili a un pubblico più ampio.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.