Omegance: Een Enkele Parameter voor Verschillende Korrelgroottes bij Diffusiegebaseerde Synthese

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Auteurs: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Samenvatting

In dit werk introduceren we een enkele parameter omega om effectief de granulariteit te regelen in diffusie-gebaseerde synthese. Deze parameter wordt opgenomen tijdens de denoising stappen van het reverse proces van het diffusiemodel. Onze benadering vereist geen hertraining van het model, architectonische aanpassingen of extra rekenkracht tijdens inferentie, maar maakt wel precieze controle mogelijk over het niveau van details in de gegenereerde uitvoer. Bovendien kunnen ruimtelijke maskers of denoising schema's met verschillende omega waarden worden toegepast om regio-specifieke of tijdstap-specifieke granulariteitscontrole te bereiken. Voorkennis van de samenstelling van afbeeldingen uit besturingsignalen of referentieafbeeldingen vergemakkelijkt verder de creatie van precieze omega maskers voor granulariteitscontrole op specifieke objecten. Om de rol van de parameter bij het regelen van subtiele detailvariaties te benadrukken, wordt de techniek Omegance genoemd, waarbij "omega" en "nuance" worden gecombineerd. Onze methode toont indrukwekkende prestaties bij verschillende beeld- en videosynthese taken en is aanpasbaar aan geavanceerde diffusiemodellen. De code is beschikbaar op https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.