Creador de VFX: Generación de Efectos Visuales Animados con Transformador de Difusión Controlable

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Autores: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Resumen

La creación de magia e ilusiones es uno de los aspectos más emocionantes del cine, con los efectos visuales (VFX) sirviendo como la fuerza impulsora detrás de experiencias cinematográficas inolvidables. Mientras que los avances recientes en inteligencia artificial generativa han impulsado el progreso en la síntesis genérica de imágenes y videos, el dominio de la generación de VFX controlables sigue siendo relativamente poco explorado. En este trabajo, proponemos un nuevo paradigma para la generación de VFX animados como animación de imágenes, donde los efectos dinámicos se generan a partir de descripciones textuales amigables para el usuario e imágenes de referencia estáticas. Nuestro trabajo realiza dos contribuciones principales: (i) Open-VFX, el primer conjunto de datos de videos VFX de alta calidad que abarca 15 categorías de efectos diversas, anotado con descripciones textuales, máscaras de segmentación de instancias para condicionamiento espacial y marcas de tiempo de inicio-fin para control temporal. (ii) VFX Creator, un marco de generación de VFX controlable simple pero efectivo basado en un Transformador de Difusión de Video. El modelo incorpora un adaptador LoRA controlable espacial y temporal, que requiere un mínimo de videos de entrenamiento. Específicamente, un módulo de control de máscara plug-and-play permite la manipulación espacial a nivel de instancia, mientras que los marcadores de tiempo de inicio-fin tokenizados incrustados en el proceso de difusión, junto con el codificador de texto, permiten un control temporal preciso sobre el tiempo y ritmo de los efectos. Experimentos extensos en el conjunto de pruebas de Open-VFX demuestran la superioridad del sistema propuesto en la generación de efectos realistas y dinámicos, logrando un rendimiento de vanguardia y capacidad de generalización tanto en control espacial como temporal. Además, presentamos una métrica especializada para evaluar la precisión del control temporal. Al unir técnicas tradicionales de VFX con enfoques generativos, VFX Creator desbloquea nuevas posibilidades para la generación eficiente y de alta calidad de efectos de video, haciendo que los VFX avanzados sean accesibles a un público más amplio.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.