リアリスティックなサリエンシー誘導型画像強調

Realistic Saliency Guided Image Enhancement

June 9, 2023

著者: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy

cs.AI

要旨

プロフェッショナルフォトグラファーが行う一般的な編集操作には、クリーニング作業が含まれます。これには、注意をそらす要素を目立たなくすることや、被写体を強調することが挙げられます。これらの編集は、視聴者の注意を操作しながらも写真のリアリズムを維持するという微妙なバランスを必要とするため、非常に困難です。最近のアプローチでは、注意の減衰や増幅に成功した例が報告されていますが、その多くは非現実的な編集が頻繁に発生するという問題を抱えています。我々は、サリエンシー（顕著性）に基づく画像強調において、リアリズムを維持するためのリアリズム損失を提案します。これにより、さまざまな画像タイプにおいて高いリアリズムを保ちつつ、注意をそらす要素を減衰させ、興味のある対象を増幅することが可能となります。プロフェッショナルフォトグラファーによる評価では、リアリズムと効果性の両立を達成し、最近のアプローチを自らのデータセットにおいて上回る結果を示しました。さらに、メモリ使用量と実行時間を削減しながらも、画像強調と写真クリーニング操作の自動化における実用的なソリューションを提供します。

English

Common editing operations performed by professional photographers include the cleanup operations: de-emphasizing distracting elements and enhancing subjects. These edits are challenging, requiring a delicate balance between manipulating the viewer's attention while maintaining photo realism. While recent approaches can boast successful examples of attention attenuation or amplification, most of them also suffer from frequent unrealistic edits. We propose a realism loss for saliency-guided image enhancement to maintain high realism across varying image types, while attenuating distractors and amplifying objects of interest. Evaluations with professional photographers confirm that we achieve the dual objective of realism and effectiveness, and outperform the recent approaches on their own datasets, while requiring a smaller memory footprint and runtime. We thus offer a viable solution for automating image enhancement and photo cleanup operations.