Realistische Saliency-geleide Beeldverbetering

Realistic Saliency Guided Image Enhancement

June 9, 2023

Auteurs: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Samenvatting

Veelvoorkomende bewerkingen die door professionele fotografen worden uitgevoerd, omvatten de opruimoperaties: het verminderen van afleidende elementen en het verbeteren van onderwerpen. Deze bewerkingen zijn uitdagend, omdat ze een delicate balans vereisen tussen het manipuleren van de aandacht van de kijker en het behouden van fotorealisme. Hoewel recente benaderingen succesvolle voorbeelden kunnen laten zien van aandachtvermindering of -versterking, lijden de meeste ook onder frequente onrealistische bewerkingen. Wij stellen een realisme-verliesfunctie voor voor opvallendheid-gestuurde beeldverbetering om een hoog realisme te behouden over verschillende beeldtypen, terwijl afleidende elementen worden verminderd en interessante objecten worden versterkt. Evaluaties door professionele fotografen bevestigen dat wij het dubbele doel van realisme en effectiviteit bereiken, en de recente benaderingen overtreffen op hun eigen datasets, terwijl we een kleiner geheugenverbruik en kortere uitvoeringstijd vereisen. Wij bieden dus een haalbare oplossing voor het automatiseren van beeldverbetering en foto-opruimoperaties.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.