Criador de VFX: Geração de Efeito Visual Animado com Transformador de Difusão Controlável

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Autores: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Resumo

A criação de magia e ilusões é um dos aspectos mais emocionantes da produção cinematográfica, com efeitos visuais (VFX) atuando como a força motriz por trás de experiências cinematográficas inesquecíveis. Enquanto avanços recentes em inteligência artificial generativa impulsionaram o progresso na síntese genérica de imagens e vídeos, o domínio da geração de VFX controláveis permanece relativamente pouco explorado. Neste trabalho, propomos um novo paradigma para a geração de VFX animados como animação de imagens, onde efeitos dinâmicos são gerados a partir de descrições textuais amigáveis ao usuário e imagens de referência estáticas. Nosso trabalho apresenta duas contribuições principais: (i) Open-VFX, o primeiro conjunto de dados de vídeo de VFX de alta qualidade abrangendo 15 categorias de efeitos diversas, anotado com descrições textuais, máscaras de segmentação de instâncias para condicionamento espacial e timestamps de início-fim para controle temporal. (ii) VFX Creator, um framework de geração de VFX controláveis simples, porém eficaz, baseado em um Transformador de Difusão de Vídeo. O modelo incorpora um adaptador LoRA controlável espacial e temporal, exigindo vídeos de treinamento mínimos. Especificamente, um módulo de controle de máscara plug-and-play permite manipulação espacial em nível de instância, enquanto timestamps de movimento de início-fim tokenizados incorporados no processo de difusão, juntamente com o codificador de texto, permitem controle temporal preciso sobre o tempo e ritmo dos efeitos. Experimentos extensivos no conjunto de testes Open-VFX demonstram a superioridade do sistema proposto na geração de efeitos realistas e dinâmicos, alcançando desempenho de ponta e capacidade de generalização tanto em controlabilidade espacial quanto temporal. Além disso, introduzimos uma métrica especializada para avaliar a precisão do controle temporal. Ao unir técnicas tradicionais de VFX com abordagens generativas, o VFX Creator desbloqueia novas possibilidades para a geração eficiente e de alta qualidade de efeitos de vídeo, tornando os VFX avançados acessíveis a um público mais amplo.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.