Omegancia: Un Único Parámetro para Varias Granularidades en la Síntesis Basada en Difusión

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Autores: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Resumen

En este trabajo, introducimos un único parámetro omega para controlar de manera efectiva la granularidad en la síntesis basada en difusión. Este parámetro se incorpora durante los pasos de eliminación de ruido del proceso inverso del modelo de difusión. Nuestro enfoque no requiere el reentrenamiento del modelo, modificaciones arquitectónicas o sobrecarga computacional adicional durante la inferencia, pero permite un control preciso sobre el nivel de detalles en las salidas generadas. Además, se pueden aplicar máscaras espaciales o programaciones de eliminación de ruido con diferentes valores de omega para lograr un control de granularidad específico de la región o del paso de tiempo. El conocimiento previo de la composición de imágenes a partir de señales de control o imágenes de referencia facilita aún más la creación de máscaras omega precisas para el control de la granularidad en objetos específicos. Para resaltar el papel del parámetro en el control de variaciones sutiles de detalles, la técnica se denomina Omegance, combinando "omega" y "nuance". Nuestro método demuestra un rendimiento impresionante en diversas tareas de síntesis de imágenes y videos, y es adaptable a modelos de difusión avanzados. El código está disponible en https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.