Realistische Salienz-gesteuerte Bildverbesserung

Realistic Saliency Guided Image Enhancement

June 9, 2023

Autoren: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Zusammenfassung

Gängige Bearbeitungsvorgänge, die von professionellen Fotografen durchgeführt werden, umfassen Bereinigungsoperationen: das Abschwächen ablenkender Elemente und das Hervorheben von Motiven. Diese Bearbeitungen sind anspruchsvoll, da sie ein feines Gleichgewicht zwischen der Lenkung der Aufmerksamkeit des Betrachters und der Wahrung der Foto-Realistik erfordern. Während aktuelle Ansätze erfolgreiche Beispiele für die Abschwächung oder Verstärkung der Aufmerksamkeit vorweisen können, leiden die meisten von ihnen auch unter häufigen unrealistischen Bearbeitungen. Wir schlagen einen Realismusverlust für die salienzgesteuerte Bildverbesserung vor, um eine hohe Realistik über verschiedene Bildtypen hinweg zu bewahren, während ablenkende Elemente abgeschwächt und interessante Objekte verstärkt werden. Bewertungen durch professionelle Fotografen bestätigen, dass wir das doppelte Ziel von Realismus und Wirksamkeit erreichen und die aktuellen Ansätze auf ihren eigenen Datensätzen übertreffen, während wir einen geringeren Speicherbedarf und eine kürzere Laufzeit benötigen. Wir bieten somit eine praktikable Lösung für die Automatisierung von Bildverbesserungs- und Fotobereinigungsoperationen.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.