Guide-and-Rescale: Selbstführungsmechanismus für effektive abstimmungsfreie Bearbeitung von Realbildern

Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing

September 2, 2024

papers.authors: Vadim Titov, Madina Khalmatova, Alexandra Ivanova, Dmitry Vetrov, Aibek Alanov

cs.AI

papers.abstract

Trotz der jüngsten Fortschritte bei groß angelegten Text-zu-Bild-Generierungsmodellen bleibt die Manipulation realer Bilder mit diesen Modellen eine herausfordernde Aufgabe. Die Hauptbeschränkungen bestehender Bearbeitungsmethoden bestehen darin, dass sie entweder keine konsistente Qualität bei einer Vielzahl von Bildbearbeitungen erreichen oder zeitaufwändige Hyperparameteranpassungen oder Feinabstimmungen des Diffusionsmodells erfordern, um das bildspezifische Erscheinungsbild des Eingabebildes zu bewahren. Wir schlagen einen neuartigen Ansatz vor, der auf einem modifizierten Diffusionssamplingprozess über den Leitmechanismus basiert. In dieser Arbeit untersuchen wir die Selbstleit-Technik, um die Gesamtstruktur des Eingabebildes und das Erscheinungsbild lokaler Regionen, die nicht bearbeitet werden sollen, zu bewahren. Insbesondere führen wir explizit layoutbewahrende Energiefunktionen ein, die darauf abzielen, die lokalen und globalen Strukturen des Quellbildes zu erhalten. Zusätzlich schlagen wir einen Rauschskalierungsmechanismus vor, der die Rauschverteilung bewahrt, indem er die Normen der klassifikatorfreien Führung und unserer vorgeschlagenen Führer während der Generierung ausbalanciert. Ein solcher Leitansatz erfordert weder eine Feinabstimmung des Diffusionsmodells noch einen exakten Inversionsprozess. Dadurch bietet die vorgeschlagene Methode einen schnellen und hochwertigen Bearbeitungsmechanismus. In unseren Experimenten zeigen wir durch menschliche Bewertung und quantitative Analyse, dass die vorgeschlagene Methode gewünschte Bearbeitungen ermöglicht, die von Menschen bevorzugt werden und auch einen besseren Kompromiss zwischen Bearbeitungsqualität und Bewahrung des Originalbildes erreichen. Unser Code ist verfügbar unter https://github.com/FusionBrainLab/Guide-and-Rescale.

English

Despite recent advances in large-scale text-to-image generative models, manipulating real images with these models remains a challenging problem. The main limitations of existing editing methods are that they either fail to perform with consistent quality on a wide range of image edits or require time-consuming hyperparameter tuning or fine-tuning of the diffusion model to preserve the image-specific appearance of the input image. We propose a novel approach that is built upon a modified diffusion sampling process via the guidance mechanism. In this work, we explore the self-guidance technique to preserve the overall structure of the input image and its local regions appearance that should not be edited. In particular, we explicitly introduce layout-preserving energy functions that are aimed to save local and global structures of the source image. Additionally, we propose a noise rescaling mechanism that allows to preserve noise distribution by balancing the norms of classifier-free guidance and our proposed guiders during generation. Such a guiding approach does not require fine-tuning the diffusion model and exact inversion process. As a result, the proposed method provides a fast and high-quality editing mechanism. In our experiments, we show through human evaluation and quantitative analysis that the proposed method allows to produce desired editing which is more preferable by humans and also achieves a better trade-off between editing quality and preservation of the original image. Our code is available at https://github.com/FusionBrainLab/Guide-and-Rescale.