EffectMaker: Объединение логического вывода и генерации для создания персонализированных визуальных эффектов

EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation

March 6, 2026

Авторы: Shiyuan Yang, Ruihuang Li, Jiale Tao, Shuai Shao, Qinglin Lu, Jing Liao

cs.AI

Аннотация

Визуальные эффекты (VFX) играют ключевую роль в повышении выразительности и креативности видеоконтента, однако создание высококачественных эффектов обычно требует специальных знаний и дорогостоящих производственных процессов. Существующие системы AIGC сталкиваются со значительными трудностями в генерации VFX из-за нехватки данных, специфичных для эффектов, и присущей сложности моделирования сверхъестественных или стилизованных эффектов. Более того, эти подходы часто требуют тонкой настройки для каждого эффекта, что серьезно ограничивает их масштабируемость и обобщаемость на новые VFX. В данной работе мы представляем EffectMaker — унифицированную reasoning-generation framework, которая позволяет настраивать VFX на основе референсов. EffectMaker использует мультимодальную большую языковую модель для интерпретации высокоуровневой семантики эффектов и анализа их адаптации к целевому объекту, в то время как диффузионный трансформер использует обучение в контексте для захвата тонких визуальных подсказок из reference-видео. Эти два компонента формируют семантико-визуальный механизм двойного руководства, обеспечивающий точный, контролируемый и согласованный с эффектом синтез без тонкой настройки для каждого эффекта. Кроме того, мы создали EffectData — крупнейший высококачественный синтетический датасет, содержащий 130 тыс. видео across 3k категорий VFX, для улучшения обобщаемости и масштабируемости. Эксперименты показывают, что EffectMaker демонстрирует превосходное визуальное качество и согласованность эффектов по сравнению с современными базовыми методами, предлагая масштабируемую и гибкую парадигму для кастомизированной генерации VFX. Страница проекта: https://effectmaker.github.io

English

Visual effects (VFX) are essential for enhancing the expressiveness and creativity of video content, yet producing high-quality effects typically requires expert knowledge and costly production pipelines. Existing AIGC systems face significant challenges in VFX generation due to the scarcity of effect-specific data and the inherent difficulty of modeling supernatural or stylized effects. Moreover, these approaches often require per-effect fine-tuning, which severely limits their scalability and generalization to novel VFX. In this work, we present EffectMaker, a unified reasoning-generation framework that enables reference-based VFX customization. EffectMaker employs a multimodal large language model to interpret high-level effect semantics and reason about how they should adapt to a target subject, while a diffusion transformer leverages in-context learning to capture fine-grained visual cues from reference videos. These two components form a semantic-visual dual-path guidance mechanism that enables accurate, controllable, and effect-consistent synthesis without per-effect fine-tuning. Furthermore, we construct EffectData, the largest high-quality synthetic dataset containing 130k videos across 3k VFX categories, to improve generalization and scalability. Experiments show that EffectMaker achieves superior visual quality and effect consistency over state-of-the-art baselines, offering a scalable and flexible paradigm for customized VFX generation. Project page: https://effectmaker.github.io