EffectMaker: Unificación del Razonamiento y la Generación para la Creación de Efectos Visuales Personalizados
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
March 6, 2026
Autores: Shiyuan Yang, Ruihuang Li, Jiale Tao, Shuai Shao, Qinglin Lu, Jing Liao
cs.AI
Resumen
Los efectos visuales (VFX) son esenciales para potenciar la expresividad y creatividad del contenido de vídeo, aunque la producción de efectos de alta calidad normalmente requiere conocimientos especializados y costosos flujos de producción. Los sistemas existentes de AIGC (Contenido Generado por Inteligencia Artificial) enfrentan desafíos significativos en la generación de VFX debido a la escasez de datos específicos para efectos y la dificultad inherente de modelar efectos sobrenaturales o estilizados. Además, estos enfoques a menudo requieren un ajuste fino por efecto, lo que limita severamente su escalabilidad y generalización a nuevos VFX. En este trabajo, presentamos EffectMaker, un marco unificado de razonamiento-generación que permite la personalización de VFX basada en referencia. EffectMaker emplea un modelo de lenguaje grande multimodal para interpretar semánticas de alto nivel de los efectos y razonar sobre cómo deberían adaptarse a un sujeto objetivo, mientras que un transformador de difusión aprovecha el aprendizaje en contexto para capturar indicios visuales de grano fino a partir de vídeos de referencia. Estos dos componentes forman un mecanismo de guía de doble vía semántica-visual que permite una síntesis precisa, controlable y con consistencia de efectos, sin necesidad de ajuste fino por efecto. Adicionalmente, construimos EffectData, el conjunto de datos sintético de mayor tamaño y alta calidad, que contiene 130k vídeos distribuidos en 3k categorías de VFX, para mejorar la generalización y escalabilidad. Los experimentos demuestran que EffectMaker logra una calidad visual y una consistencia de efectos superiores a los métodos de referencia del estado del arte, ofreciendo un paradigma escalable y flexible para la generación personalizada de VFX. Página del proyecto: https://effectmaker.github.io
English
Visual effects (VFX) are essential for enhancing the expressiveness and creativity of video content, yet producing high-quality effects typically requires expert knowledge and costly production pipelines. Existing AIGC systems face significant challenges in VFX generation due to the scarcity of effect-specific data and the inherent difficulty of modeling supernatural or stylized effects. Moreover, these approaches often require per-effect fine-tuning, which severely limits their scalability and generalization to novel VFX. In this work, we present EffectMaker, a unified reasoning-generation framework that enables reference-based VFX customization. EffectMaker employs a multimodal large language model to interpret high-level effect semantics and reason about how they should adapt to a target subject, while a diffusion transformer leverages in-context learning to capture fine-grained visual cues from reference videos. These two components form a semantic-visual dual-path guidance mechanism that enables accurate, controllable, and effect-consistent synthesis without per-effect fine-tuning. Furthermore, we construct EffectData, the largest high-quality synthetic dataset containing 130k videos across 3k VFX categories, to improve generalization and scalability. Experiments show that EffectMaker achieves superior visual quality and effect consistency over state-of-the-art baselines, offering a scalable and flexible paradigm for customized VFX generation. Project page: https://effectmaker.github.io