Miglioramento dell'Immagine Guidato dalla Salienza Realistica

Realistic Saliency Guided Image Enhancement

June 9, 2023

Autori: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Abstract

Le operazioni di editing comunemente eseguite dai fotografi professionisti includono interventi di pulizia: ridurre l'importanza di elementi distraenti e migliorare i soggetti. Questi interventi sono complessi, richiedendo un delicato equilibrio tra la manipolazione dell'attenzione dello spettatore e il mantenimento del realismo fotografico. Sebbene approcci recenti possano vantare esempi riusciti di attenuazione o amplificazione dell'attenzione, molti di essi soffrono anche di frequenti modifiche irrealistiche. Proponiamo una funzione di perdita basata sul realismo per il miglioramento delle immagini guidato dalla salienza, al fine di mantenere un elevato realismo su diversi tipi di immagini, attenuando gli elementi distraenti e amplificando gli oggetti di interesse. Le valutazioni condotte con fotografi professionisti confermano che raggiungiamo il duplice obiettivo di realismo ed efficacia, superando i recenti approcci sui loro stessi dataset, richiedendo al contempo un'impronta di memoria e un tempo di esecuzione ridotti. Offriamo quindi una soluzione praticabile per automatizzare le operazioni di miglioramento delle immagini e di pulizia fotografica.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.