생성적 재초점: 단일 이미지로 구현하는 유연한 초점 외 제어

초록

초점 심도 제어는 사진 촬영에서 필수적이지만 완벽한 초점을 맞추기 위해서는 여러 번의 시도나 특수 장비가 필요한 경우가 많습니다. 단일 이미지 재초점 기술은 여전히 어려운 과제로, 선명한 내용을 복원하고 사실적인 보케 효과를 생성하는 과정을 포함합니다. 기존 방법론은 전초점 입력 이미지 필요성, 시뮬레이터 기반 합성 데이터 의존성, 조리개 제어의 한계 등 중대한 단점을 지니고 있습니다. 본 연구에서는 DeblurNet을 통해 다양한 입력에서 전초점 이미지를 복원하고 BokehNet으로 제어 가능한 보케 효과를 생성하는 2단계 프로세스인 Generative Refocusing을 제안합니다. 핵심 혁신은 시뮬레이터의 한계를 넘어 실제 광학 특성을 포착하기 위해 EXIF 메타데이터를 활용한 반지도 학습 방식으로, 합성된 paired 데이터와 unpaired 실제 보케 이미지를 결합합니다. 실험 결과, 우리의 방법은 디포커스 디블러링, 보케 합성 및 재초점 벤치마크에서 최고 수준의 성능을 달성했습니다. 또한 Generative Refocusing은 텍스트 기반 조정과 사용자 정의 조리개 형태 설정이 가능합니다.

English

Depth-of-field control is essential in photography, but getting the perfect focus often takes several tries or special equipment. Single-image refocusing is still difficult. It involves recovering sharp content and creating realistic bokeh. Current methods have significant drawbacks. They need all-in-focus inputs, depend on synthetic data from simulators, and have limited control over aperture. We introduce Generative Refocusing, a two-step process that uses DeblurNet to recover all-in-focus images from various inputs and BokehNet for creating controllable bokeh. Our main innovation is semi-supervised training. This method combines synthetic paired data with unpaired real bokeh images, using EXIF metadata to capture real optical characteristics beyond what simulators can provide. Our experiments show we achieve top performance in defocus deblurring, bokeh synthesis, and refocusing benchmarks. Additionally, our Generative Refocusing allows text-guided adjustments and custom aperture shapes.

생성적 재초점: 단일 이미지로 구현하는 유연한 초점 외 제어

Generative Refocusing: Flexible Defocus Control from a Single Image

초록

Support