Omégance : Un seul paramètre pour différentes granularités dans la synthèse basée sur la diffusion

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Auteurs: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Résumé

Dans ce travail, nous introduisons un unique paramètre oméga pour contrôler efficacement la granularité dans la synthèse basée sur la diffusion. Ce paramètre est intégré lors des étapes de débruitage du processus inverse du modèle de diffusion. Notre approche ne nécessite pas de reformation du modèle, de modifications architecturales ou de surcharge computationnelle supplémentaire lors de l'inférence, mais permet un contrôle précis du niveau de détails dans les sorties générées. De plus, des masques spatiaux ou des plannings de débruitage avec des valeurs oméga variables peuvent être appliqués pour obtenir un contrôle de granularité spécifique à une région ou à un pas de temps. La connaissance préalable de la composition de l'image à partir de signaux de contrôle ou d'images de référence facilite davantage la création de masques oméga précis pour le contrôle de la granularité sur des objets spécifiques. Pour mettre en avant le rôle du paramètre dans le contrôle des variations de détails subtils, la technique est nommée Omegance, combinant "omega" et "nuance". Notre méthode démontre des performances impressionnantes dans diverses tâches de synthèse d'images et de vidéos et est adaptable à des modèles de diffusion avancés. Le code est disponible sur https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.