Omeganz: Ein einzelner Parameter für verschiedene Feinheitsgrade in der diffusionsbasierten Synthese

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Autoren: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Zusammenfassung

In dieser Arbeit führen wir einen einzigen Parameter Omega ein, um die Granularität in der diffusionsbasierten Synthese effektiv zu steuern. Dieser Parameter wird während der Entrauschungsschritte des Umkehrprozesses des Diffusionsmodells integriert. Unser Ansatz erfordert kein erneutes Training des Modells, keine architektonischen Änderungen oder zusätzlichen Rechenaufwand während der Inferenz, ermöglicht jedoch eine präzise Steuerung des Detaillierungsgrads in den generierten Ausgaben. Darüber hinaus können räumliche Masken oder Entrauschungspläne mit verschiedenen Omega-Werten angewendet werden, um eine regions- oder zeitspezifische Granularitätssteuerung zu erreichen. Vorwissen über die Bildzusammensetzung aus Steuersignalen oder Referenzbildern erleichtert die Erstellung präziser Omega-Masken zur Granularitätssteuerung auf bestimmten Objekten. Um die Rolle des Parameters bei der Steuerung subtiler Detailvariationen hervorzuheben, wird die Technik Omegance genannt, indem "Omega" und "Nuance" kombiniert werden. Unsere Methode zeigt beeindruckende Leistungen bei verschiedenen Bild- und Videosynthesetätigkeiten und ist an fortschrittliche Diffusionsmodelle anpassbar. Der Code ist unter https://github.com/itsmag11/Omegance verfügbar.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.