Создатель VFX: Генерация анимированных визуальных эффектов с управляемым трансформером диффузии

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

Авторы: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

Аннотация

Создание магии и иллюзий является одним из самых захватывающих аспектов кинопроизводства, при этом визуальные эффекты (VFX) выступают мощным двигателем захватывающих кинематографических впечатлений. В то время как недавние достижения в области генеративного искусственного интеллекта способствовали прогрессу в области синтеза общих изображений и видео, область генерации управляемых визуальных эффектов остается относительно недоисследованной. В данной работе мы предлагаем новую парадигму для создания анимированных визуальных эффектов в качестве анимации изображений, где динамические эффекты генерируются из удобных для пользователя текстовых описаний и статических исходных изображений. Наша работа вносит два основных вклада: (i) Open-VFX, первый набор данных видеороликов высокого качества с 15 различными категориями эффектов, аннотированный текстовыми описаниями, масками сегментации экземпляров для пространственного условионирования и временными метками начала и конца для управления временем. (ii) VFX Creator, простая, но эффективная рамочная система для создания управляемых визуальных эффектов на основе Video Diffusion Transformer. Модель включает пространственный и временной управляемый адаптер LoRA, требующий минимального количества обучающих видеороликов. В частности, модуль управления масками "plug-and-play" позволяет манипулировать пространственно на уровне экземпляров, а временные метки начала и конца, внедренные в процесс диффузии, наряду с текстовым кодировщиком, обеспечивают точный контроль над временем и темпом эффекта. Обширные эксперименты на тестовом наборе данных Open-VFX демонстрируют превосходство предложенной системы в создании реалистичных и динамичных эффектов, достигая передовых показателей производительности и обобщающей способности как в пространственном, так и во временном управлении. Более того, мы представляем специализированную метрику для оценки точности временного контроля. Соединяя традиционные техники визуальных эффектов с генеративными подходами, VFX Creator открывает новые возможности для эффективного и высококачественного создания видеоэффектов, делая передовые визуальные эффекты доступными для более широкой аудитории.

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.