Реалистичное улучшение изображений с использованием карт значимости

Realistic Saliency Guided Image Enhancement

June 9, 2023

Авторы: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

Аннотация

Типичные операции редактирования, выполняемые профессиональными фотографами, включают в себя очистку изображения: уменьшение значимости отвлекающих элементов и усиление объектов. Эти правки являются сложными, так как требуют тонкого баланса между управлением вниманием зрителя и сохранением реалистичности фотографии. Хотя современные подходы могут демонстрировать успешные примеры ослабления или усиления внимания, большинство из них также страдает от частых нереалистичных изменений. Мы предлагаем функцию потерь для реалистичности в задачах улучшения изображений, управляемого картой значимости, чтобы сохранить высокую реалистичность для различных типов изображений, одновременно ослабляя отвлекающие элементы и усиливая объекты интереса. Оценки, проведенные с участием профессиональных фотографов, подтверждают, что мы достигаем двойной цели — реалистичности и эффективности, превосходя современные подходы на их собственных наборах данных, при этом требуя меньшего объема памяти и времени выполнения. Таким образом, мы предлагаем жизнеспособное решение для автоматизации улучшения изображений и операций по очистке фотографий.

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.