Омеганс: Один параметр для различных уровней детализации в синтезе на основе диффузии

Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

November 26, 2024

Авторы: Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

cs.AI

Аннотация

В данной работе мы представляем один параметр омега для эффективного контроля гранулярности в синтезе на основе диффузии. Этот параметр внедряется во время этапов удаления шума обратного процесса модели диффузии. Наш подход не требует повторного обучения модели, изменений в архитектуре или дополнительных вычислительных затрат во время вывода, однако обеспечивает точный контроль над уровнем деталей в созданных изображениях. Более того, пространственные маски или графики удаления шума с различными значениями омега могут быть применены для достижения контроля над гранулярностью для конкретных областей или моментов времени. Предварительное знание композиции изображения из управляющих сигналов или ссылочных изображений также облегчает создание точных масок омега для контроля гранулярности на конкретных объектах. Для выделения роли параметра в контроле за тонкими вариациями деталей, технику назвали Omegance, объединяя "омега" и "нюанс". Наш метод демонстрирует впечатляющую производительность в различных задачах синтеза изображений и видео и адаптируется к передовым моделям диффузии. Код доступен по ссылке https://github.com/itsmag11/Omegance.

English

In this work, we introduce a single parameter omega, to effectively control granularity in diffusion-based synthesis. This parameter is incorporated during the denoising steps of the diffusion model's reverse process. Our approach does not require model retraining, architectural modifications, or additional computational overhead during inference, yet enables precise control over the level of details in the generated outputs. Moreover, spatial masks or denoising schedules with varying omega values can be applied to achieve region-specific or timestep-specific granularity control. Prior knowledge of image composition from control signals or reference images further facilitates the creation of precise omega masks for granularity control on specific objects. To highlight the parameter's role in controlling subtle detail variations, the technique is named Omegance, combining "omega" and "nuance". Our method demonstrates impressive performance across various image and video synthesis tasks and is adaptable to advanced diffusion models. The code is available at https://github.com/itsmag11/Omegance.