현실적인 시각적 주목도를 기반으로 한 이미지 개선
Realistic Saliency Guided Image Enhancement
June 9, 2023
저자: S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Yağız Aksoy
cs.AI
초록
전문 사진작가들이 수행하는 일반적인 편집 작업에는 클린업 작업이 포함됩니다: 주의를 분산시키는 요소를 약화시키고 주요 피사체를 강화하는 작업입니다. 이러한 편집은 시청자의 주의를 조작하면서도 사진의 사실감을 유지하는 미묘한 균형을 요구하기 때문에 어려운 작업입니다. 최근의 접근 방식들은 주의 감소 또는 증폭의 성공적인 사례를 자랑할 수 있지만, 대부분은 빈번한 비현실적인 편집 문제를 겪고 있습니다. 우리는 다양한 이미지 유형에서 높은 사실감을 유지하면서 주의를 분산시키는 요소를 약화시키고 관심 대상 객체를 증폭하기 위해 주의도 기반 이미지 향상을 위한 사실감 손실(realism loss)을 제안합니다. 전문 사진작가들과의 평가를 통해 우리는 사실감과 효과성이라는 이중 목표를 달성했으며, 더 작은 메모리 사용량과 실행 시간을 요구하면서도 최근 접근 방식들을 그들의 데이터셋에서 능가함을 확인했습니다. 따라서 우리는 이미지 향상 및 사진 클린업 작업의 자동화를 위한 실행 가능한 솔루션을 제공합니다.
English
Common editing operations performed by professional photographers include the
cleanup operations: de-emphasizing distracting elements and enhancing subjects.
These edits are challenging, requiring a delicate balance between manipulating
the viewer's attention while maintaining photo realism. While recent approaches
can boast successful examples of attention attenuation or amplification, most
of them also suffer from frequent unrealistic edits. We propose a realism loss
for saliency-guided image enhancement to maintain high realism across varying
image types, while attenuating distractors and amplifying objects of interest.
Evaluations with professional photographers confirm that we achieve the dual
objective of realism and effectiveness, and outperform the recent approaches on
their own datasets, while requiring a smaller memory footprint and runtime. We
thus offer a viable solution for automating image enhancement and photo cleanup
operations.