Omni-Efectos: Generación Unificada y Espacialmente Controlable de Efectos Visuales

Omni-Effects: Unified and Spatially-Controllable Visual Effects Generation

August 11, 2025

Autores: Fangyuan Mao, Aiming Hao, Jintao Chen, Dongxia Liu, Xiaokun Feng, Jiashu Zhu, Meiqi Wu, Chubin Chen, Jiahong Wu, Xiangxiang Chu

cs.AI

Resumen

Los efectos visuales (VFX) son mejoras visuales esenciales fundamentales para la producción cinematográfica moderna. Aunque los modelos de generación de video ofrecen soluciones rentables para la producción de VFX, los métodos actuales están limitados por el entrenamiento de LoRA por efecto, lo que restringe la generación a efectos individuales. Esta limitación fundamental dificulta las aplicaciones que requieren efectos compuestos espacialmente controlables, es decir, la generación simultánea de múltiples efectos en ubicaciones designadas. Sin embargo, integrar diversos efectos en un marco unificado enfrenta grandes desafíos: la interferencia de variaciones de efectos y la falta de control espacial durante el entrenamiento conjunto de múltiples VFX. Para abordar estos desafíos, proponemos Omni-Effects, un primer marco unificado capaz de generar efectos guiados por prompts y efectos compuestos espacialmente controlables. El núcleo de nuestro marco consta de dos innovaciones clave: (1) LoRA-based Mixture of Experts (LoRA-MoE), que emplea un grupo de expertos LoRA, integrando diversos efectos dentro de un modelo unificado mientras mitiga eficazmente la interferencia entre tareas. (2) Spatial-Aware Prompt (SAP) incorpora información de máscara espacial en el token de texto, permitiendo un control espacial preciso. Además, introducimos un módulo de Flujo de Información Independiente (IIF) integrado dentro del SAP, aislando las señales de control correspondientes a efectos individuales para evitar mezclas no deseadas. Para facilitar esta investigación, construimos un conjunto de datos VFX exhaustivo, Omni-VFX, mediante una novedosa canalización de recopilación de datos que combina edición de imágenes y síntesis First-Last Frame-to-Video (FLF2V), e introducimos un marco de evaluación VFX dedicado para validar el rendimiento del modelo. Experimentos extensos demuestran que Omni-Effects logra un control espacial preciso y una generación diversa de efectos, permitiendo a los usuarios especificar tanto la categoría como la ubicación de los efectos deseados.

English

Visual effects (VFX) are essential visual enhancements fundamental to modern cinematic production. Although video generation models offer cost-efficient solutions for VFX production, current methods are constrained by per-effect LoRA training, which limits generation to single effects. This fundamental limitation impedes applications that require spatially controllable composite effects, i.e., the concurrent generation of multiple effects at designated locations. However, integrating diverse effects into a unified framework faces major challenges: interference from effect variations and spatial uncontrollability during multi-VFX joint training. To tackle these challenges, we propose Omni-Effects, a first unified framework capable of generating prompt-guided effects and spatially controllable composite effects. The core of our framework comprises two key innovations: (1) LoRA-based Mixture of Experts (LoRA-MoE), which employs a group of expert LoRAs, integrating diverse effects within a unified model while effectively mitigating cross-task interference. (2) Spatial-Aware Prompt (SAP) incorporates spatial mask information into the text token, enabling precise spatial control. Furthermore, we introduce an Independent-Information Flow (IIF) module integrated within the SAP, isolating the control signals corresponding to individual effects to prevent any unwanted blending. To facilitate this research, we construct a comprehensive VFX dataset Omni-VFX via a novel data collection pipeline combining image editing and First-Last Frame-to-Video (FLF2V) synthesis, and introduce a dedicated VFX evaluation framework for validating model performance. Extensive experiments demonstrate that Omni-Effects achieves precise spatial control and diverse effect generation, enabling users to specify both the category and location of desired effects.