生成的リフォーカシング：単一画像からの柔軟なボケ制御

要旨

被写界深度の制御は写真撮影において重要ですが、完璧な焦点を得るには通常、複数回の試行や特殊な機材が必要です。単一画像からの再焦点合わせは依然として困難な課題であり、鮮明なコンテンツの回復と写真的に自然なボケ表現の生成を伴います。既存手法には重大な欠点があり、全域焦点画像の入力が必要、シミュレーターによる合成データへの依存度が高い、絞り制御の自由度が限られているなどの問題があります。本研究では「Generative Refocusing」を提案します。これはDeblurNetによる様々な入力からの全域焦点画像回復と、BokehNetによる制御可能なボケ生成の2段階プロセスから構成されます。主な革新点は半教師あり学習手法にあり、合成されたペアデータと実写の非ペアボケ画像を組み合わせ、EXIFメタデータを活用してシミュレーターでは再現困難な実光学特性を学習します。実験結果では、焦点外しぼかし除去、ボケ合成、再焦点合わせの各ベンチマークで最高性能を達成しました。さらに本手法では、テキストガイドに基づく調整や独自の絞り形状の適用も可能です。

English

Depth-of-field control is essential in photography, but getting the perfect focus often takes several tries or special equipment. Single-image refocusing is still difficult. It involves recovering sharp content and creating realistic bokeh. Current methods have significant drawbacks. They need all-in-focus inputs, depend on synthetic data from simulators, and have limited control over aperture. We introduce Generative Refocusing, a two-step process that uses DeblurNet to recover all-in-focus images from various inputs and BokehNet for creating controllable bokeh. Our main innovation is semi-supervised training. This method combines synthetic paired data with unpaired real bokeh images, using EXIF metadata to capture real optical characteristics beyond what simulators can provide. Our experiments show we achieve top performance in defocus deblurring, bokeh synthesis, and refocusing benchmarks. Additionally, our Generative Refocusing allows text-guided adjustments and custom aperture shapes.

生成的リフォーカシング：単一画像からの柔軟なボケ制御

Generative Refocusing: Flexible Defocus Control from a Single Image

要旨

Support