Mejora de Imágenes Guiada por Saliencia Realista

Realistic Saliency Guided Image Enhancement

June 9, 2023

Autores: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Resumen

Las operaciones de edición comunes realizadas por fotógrafos profesionales incluyen las tareas de limpieza: desenfocar elementos distractores y resaltar los sujetos principales. Estas ediciones son desafiantes, ya que requieren un equilibrio delicado entre manipular la atención del espectador y mantener el realismo fotográfico. Si bien los enfoques recientes pueden presumir de ejemplos exitosos de atenuación o amplificación de la atención, la mayoría también sufre de ediciones poco realistas con frecuencia. Proponemos una función de pérdida de realismo para la mejora de imágenes guiada por saliencia, con el fin de mantener un alto nivel de realismo en diversos tipos de imágenes, mientras se atenúan los distractores y se amplifican los objetos de interés. Las evaluaciones realizadas con fotógrafos profesionales confirman que logramos el doble objetivo de realismo y efectividad, superando a los enfoques recientes en sus propios conjuntos de datos, además de requerir una menor huella de memoria y tiempo de ejecución. Así, ofrecemos una solución viable para automatizar las operaciones de mejora de imágenes y limpieza fotográfica.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.