EffectMaker: Unificando Raciocínio e Geração para a Criação Personalizada de Efeitos Visuais
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
March 6, 2026
Autores: Shiyuan Yang, Ruihuang Li, Jiale Tao, Shuai Shao, Qinglin Lu, Jing Liao
cs.AI
Resumo
Os efeitos visuais (VFX) são essenciais para aprimorar a expressividade e a criatividade de conteúdos em vídeo, mas a produção de efeitos de alta qualidade normalmente exige conhecimento especializado e pipelines de produção dispendiosos. Os sistemas existentes de AIGC enfrentam desafios significativos na geração de VFX devido à escassez de dados específicos para efeitos e à dificuldade inerente de modelar efeitos sobrenaturais ou estilizados. Além disso, essas abordagens frequentemente exigem ajustes finos por efeito, o que limita severamente sua escalabilidade e generalização para novos VFX. Neste trabalho, apresentamos o EffectMaker, uma estrutura unificada de raciocínio-geração que permite a personalização de VFX baseada em referência. O EffectMaker emprega um modelo de linguagem grande multimodal para interpretar semânticas de efeito de alto nível e raciocinar sobre como elas devem se adaptar a um objeto-alvo, enquanto um transformador de difusão aproveita a aprendizagem contextual para capturar pistas visuais refinadas a partir de vídeos de referência. Esses dois componentes formam um mecanismo de orientação de dupla via semântico-visual que permite uma síntese precisa, controlável e consistente em termos de efeito, sem a necessidade de ajustes finos por efeito. Adicionalmente, construímos o EffectData, o maior conjunto de dados sintéticos de alta qualidade contendo 130 mil vídeos abrangendo 3 mil categorias de VFX, para melhorar a generalização e a escalabilidade. Experimentos demonstram que o EffectMaker alcança qualidade visual superior e consistência de efeito em relação aos métodos state-of-the-art, oferecendo um paradigma escalável e flexível para a geração personalizada de VFX. Página do projeto: https://effectmaker.github.io
English
Visual effects (VFX) are essential for enhancing the expressiveness and creativity of video content, yet producing high-quality effects typically requires expert knowledge and costly production pipelines. Existing AIGC systems face significant challenges in VFX generation due to the scarcity of effect-specific data and the inherent difficulty of modeling supernatural or stylized effects. Moreover, these approaches often require per-effect fine-tuning, which severely limits their scalability and generalization to novel VFX. In this work, we present EffectMaker, a unified reasoning-generation framework that enables reference-based VFX customization. EffectMaker employs a multimodal large language model to interpret high-level effect semantics and reason about how they should adapt to a target subject, while a diffusion transformer leverages in-context learning to capture fine-grained visual cues from reference videos. These two components form a semantic-visual dual-path guidance mechanism that enables accurate, controllable, and effect-consistent synthesis without per-effect fine-tuning. Furthermore, we construct EffectData, the largest high-quality synthetic dataset containing 130k videos across 3k VFX categories, to improve generalization and scalability. Experiments show that EffectMaker achieves superior visual quality and effect consistency over state-of-the-art baselines, offering a scalable and flexible paradigm for customized VFX generation. Project page: https://effectmaker.github.io