VFXクリエーター：制御可能な拡散トランスフォーマーを用いたアニメーションビジュアルエフェクト生成

VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer

February 9, 2025

著者: Xinyu Liu, Ailing Zeng, Wei Xue, Harry Yang, Wenhan Luo, Qifeng Liu, Yike Guo

cs.AI

要旨

魔法と幻想を作り出すことは、映画製作の中でも最もスリリングな側面の1つであり、ビジュアルエフェクト（VFX）は忘れられない映画体験の背後にあるパワーハウスとして機能しています。最近の生成型人工知能の進歩は、一般的な画像とビデオの合成において進歩を遂げてきましたが、制御可能なVFX生成の領域は比較的未開拓のままです。本研究では、ユーザーフレンドリーなテキスト記述と静止画像から動的エフェクトを生成する画像アニメーションとしてのアニメーションVFX生成の新しいパラダイムを提案します。 私たちの研究は2つの主要な貢献を行っています：(i) 15の異なるエフェクトカテゴリを網羅した高品質VFXビデオデータセットであるOpen-VFX。このデータセットには、テキスト記述、空間条件付けのためのインスタンスセグメンテーションマスク、時間制御のための開始-終了タイムスタンプがアノテーションされています。(ii) Video Diffusion Transformerに基づくシンプルで効果的な制御可能なVFX生成フレームワークであるVFX Creator。このモデルには、空間的および時間的に制御可能なLoRAアダプタが組み込まれており、最小限のトレーニングビデオが必要です。具体的には、プラグアンドプレイのマスク制御モジュールがインスタンスレベルの空間操作を可能にし、拡散プロセスに埋め込まれたトークン化された開始-終了モーションタイムスタンプとテキストエンコーダは、エフェクトのタイミングとペースに対する正確な時間制御を可能にします。 Open-VFXのテストセットでの広範な実験は、提案されたシステムがリアルでダイナミックなエフェクトを生成する上での優越性を示し、空間的および時間的な制御性において最先端の性能と汎化能力を達成しています。さらに、時間制御の精度を評価するための専門的なメトリックを導入しています。従来のVFX技術と生成的アプローチを結びつけることで、VFX Creatorは効率的で高品質なビデオエフェクト生成の新たな可能性を開拓し、先進的なVFXをより広い観客にアクセス可能にしています。

English

Crafting magic and illusions is one of the most thrilling aspects of filmmaking, with visual effects (VFX) serving as the powerhouse behind unforgettable cinematic experiences. While recent advances in generative artificial intelligence have driven progress in generic image and video synthesis, the domain of controllable VFX generation remains relatively underexplored. In this work, we propose a novel paradigm for animated VFX generation as image animation, where dynamic effects are generated from user-friendly textual descriptions and static reference images. Our work makes two primary contributions: (i) Open-VFX, the first high-quality VFX video dataset spanning 15 diverse effect categories, annotated with textual descriptions, instance segmentation masks for spatial conditioning, and start-end timestamps for temporal control. (ii) VFX Creator, a simple yet effective controllable VFX generation framework based on a Video Diffusion Transformer. The model incorporates a spatial and temporal controllable LoRA adapter, requiring minimal training videos. Specifically, a plug-and-play mask control module enables instance-level spatial manipulation, while tokenized start-end motion timestamps embedded in the diffusion process, alongside the text encoder, allow precise temporal control over effect timing and pace. Extensive experiments on the Open-VFX test set demonstrate the superiority of the proposed system in generating realistic and dynamic effects, achieving state-of-the-art performance and generalization ability in both spatial and temporal controllability. Furthermore, we introduce a specialized metric to evaluate the precision of temporal control. By bridging traditional VFX techniques with generative approaches, VFX Creator unlocks new possibilities for efficient and high-quality video effect generation, making advanced VFX accessible to a broader audience.