EffectMaker: Unificare Ragionamento e Generazione per la Creazione Personalizzata di Effetti Visivi

EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation

March 6, 2026

Autori: Shiyuan Yang, Ruihuang Li, Jiale Tao, Shuai Shao, Qinglin Lu, Jing Liao

cs.AI

Abstract

Gli effetti visivi (VFX) sono essenziali per potenziare l'espressività e la creatività dei contenuti video, eppure la produzione di effetti di alta qualità richiede tipicamente conoscenze specialistiche e pipeline produttive costose. I sistemi esistenti di AIGC affrontano sfide significative nella generazione di VFX a causa della scarsità di dati specifici per effetti e dell'intrinseca difficoltà di modellare effetti soprannaturali o stilizzati. Inoltre, questi approcci spesso richiedono una messa a punto (fine-tuning) per ogni effetto, il che limita fortemente la loro scalabilità e generalizzazione a nuovi VFX. In questo lavoro, presentiamo EffectMaker, un framework unificato di ragionamento e generazione che abilita la personalizzazione di VFX basata su riferimento. EffectMaker utilizza un modello linguistico multimodale di grandi dimensioni per interpretare la semantica di alto livello degli effetti e ragionare su come essa debba adattarsi a un soggetto target, mentre un trasformatore di diffusione (diffusion transformer) sfrutta l'apprendimento contestuale (in-context learning) per catturare indizi visivi granulari da video di riferimento. Queste due componenti formano un meccanismo di guida duale semantico-visuale che consente una sintesi accurata, controllabile e coerente con l'effetto, senza necessità di messa a punto per ogni effetto. Inoltre, abbiamo costruito EffectData, il più ampio dataset sintetico di alta qualità contenente 130k video across 3k categorie di VFX, per migliorare la generalizzazione e la scalabilità. Gli esperimenti mostrano che EffectMaker raggiunge una qualità visiva e una coerenza dell'effetto superiori rispetto ai metodi baselines allo stato dell'arte, offrendo un paradigma scalabile e flessibile per la generazione personalizzata di VFX. Pagina del progetto: https://effectmaker.github.io

English

Visual effects (VFX) are essential for enhancing the expressiveness and creativity of video content, yet producing high-quality effects typically requires expert knowledge and costly production pipelines. Existing AIGC systems face significant challenges in VFX generation due to the scarcity of effect-specific data and the inherent difficulty of modeling supernatural or stylized effects. Moreover, these approaches often require per-effect fine-tuning, which severely limits their scalability and generalization to novel VFX. In this work, we present EffectMaker, a unified reasoning-generation framework that enables reference-based VFX customization. EffectMaker employs a multimodal large language model to interpret high-level effect semantics and reason about how they should adapt to a target subject, while a diffusion transformer leverages in-context learning to capture fine-grained visual cues from reference videos. These two components form a semantic-visual dual-path guidance mechanism that enables accurate, controllable, and effect-consistent synthesis without per-effect fine-tuning. Furthermore, we construct EffectData, the largest high-quality synthetic dataset containing 130k videos across 3k VFX categories, to improve generalization and scalability. Experiments show that EffectMaker achieves superior visual quality and effect consistency over state-of-the-art baselines, offering a scalable and flexible paradigm for customized VFX generation. Project page: https://effectmaker.github.io