Guide-and-Rescale: Механизм самонаведения для эффективного редактирования реальных изображений без настройки

Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing

September 2, 2024

Авторы: Vadim Titov, Madina Khalmatova, Alexandra Ivanova, Dmitry Vetrov, Aibek Alanov

cs.AI

Аннотация

Несмотря на недавние достижения в области крупномасштабных моделей генерации изображений из текста, манипулирование реальными изображениями с использованием этих моделей остается сложной задачей. Основные ограничения существующих методов редактирования заключаются в том, что они либо не обеспечивают стабильного качества для широкого спектра изменений изображений, либо требуют трудоемкой настройки гиперпараметров или дообучения модели диффузии для сохранения специфического внешнего вида исходного изображения. Мы предлагаем новый подход, основанный на модифицированном процессе сэмплирования диффузии с использованием механизма управления. В данной работе мы исследуем технику самоконтроля для сохранения общей структуры входного изображения и внешнего вида его локальных областей, которые не должны подвергаться редактированию. В частности, мы явно вводим энергетические функции, сохраняющие композицию, которые направлены на сохранение локальных и глобальных структур исходного изображения. Кроме того, мы предлагаем механизм перемасштабирования шума, который позволяет сохранить распределение шума за счет балансировки норм управления без классификатора и предложенных нами направляющих в процессе генерации. Такой подход не требует дообучения модели диффузии и точного процесса инверсии. В результате предложенный метод обеспечивает быстрый и качественный механизм редактирования. В наших экспериментах мы показываем с помощью оценки людьми и количественного анализа, что предложенный метод позволяет достичь желаемого редактирования, которое более предпочтительно для людей, а также обеспечивает лучший баланс между качеством редактирования и сохранением исходного изображения. Наш код доступен по адресу https://github.com/FusionBrainLab/Guide-and-Rescale.

English

Despite recent advances in large-scale text-to-image generative models, manipulating real images with these models remains a challenging problem. The main limitations of existing editing methods are that they either fail to perform with consistent quality on a wide range of image edits or require time-consuming hyperparameter tuning or fine-tuning of the diffusion model to preserve the image-specific appearance of the input image. We propose a novel approach that is built upon a modified diffusion sampling process via the guidance mechanism. In this work, we explore the self-guidance technique to preserve the overall structure of the input image and its local regions appearance that should not be edited. In particular, we explicitly introduce layout-preserving energy functions that are aimed to save local and global structures of the source image. Additionally, we propose a noise rescaling mechanism that allows to preserve noise distribution by balancing the norms of classifier-free guidance and our proposed guiders during generation. Such a guiding approach does not require fine-tuning the diffusion model and exact inversion process. As a result, the proposed method provides a fast and high-quality editing mechanism. In our experiments, we show through human evaluation and quantitative analysis that the proposed method allows to produce desired editing which is more preferable by humans and also achieves a better trade-off between editing quality and preservation of the original image. Our code is available at https://github.com/FusionBrainLab/Guide-and-Rescale.