Amélioration d'image guidée par une saillance réaliste

Realistic Saliency Guided Image Enhancement

June 9, 2023

Auteurs: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Résumé

Les opérations d'édition couramment effectuées par les photographes professionnels incluent les tâches de nettoyage : atténuer les éléments distrayants et mettre en valeur les sujets. Ces modifications sont complexes, nécessitant un équilibre délicat entre la manipulation de l'attention du spectateur et le maintien du réalisme de la photo. Bien que les approches récentes puissent se vanter d'exemples réussis d'atténuation ou d'amplification de l'attention, la plupart d'entre elles souffrent également de modifications fréquentes et irréalistes. Nous proposons une fonction de perte de réalisme pour l'amélioration d'images guidée par la saillance, afin de maintenir un haut niveau de réalisme pour différents types d'images, tout en atténuant les distracteurs et en amplifiant les objets d'intérêt. Les évaluations menées avec des photographes professionnels confirment que nous atteignons le double objectif de réalisme et d'efficacité, et surpassons les approches récentes sur leurs propres jeux de données, tout en nécessitant une empreinte mémoire et un temps d'exécution réduits. Nous offrons ainsi une solution viable pour automatiser les opérations d'amélioration d'images et de nettoyage de photos.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.