Omegance: Um Único Parâmetro para Várias Granularidades na Síntese Baseada em Difusão

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Autores: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Resumo

Neste trabalho, introduzimos um único parâmetro ômega, para controlar efetivamente a granularidade na síntese baseada em difusão. Este parâmetro é incorporado durante as etapas de remoção de ruído do processo reverso do modelo de difusão. Nossa abordagem não requer o retreinamento do modelo, modificações arquiteturais ou sobrecarga computacional adicional durante a inferência, mas permite um controle preciso sobre o nível de detalhes nas saídas geradas. Além disso, máscaras espaciais ou programações de remoção de ruído com diferentes valores de ômega podem ser aplicadas para alcançar um controle de granularidade específico da região ou do timestep. O conhecimento prévio da composição da imagem a partir de sinais de controle ou imagens de referência facilita ainda mais a criação de máscaras ômega precisas para o controle de granularidade em objetos específicos. Para destacar o papel do parâmetro no controle de variações sutis de detalhes, a técnica é denominada Omegance, combinando "omega" e "nuance". Nosso método demonstra um desempenho impressionante em várias tarefas de síntese de imagens e vídeos e é adaptável a modelos de difusão avançados. O código está disponível em https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.