RealFill: 参照駆動型の本物らしい画像補完生成
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
著者: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
要旨
近年の生成画像技術の進展により、未知の領域に高品質で説得力のある画像コンテンツを生成するアウトペインティングやインペインティングモデルが登場しています。しかし、これらのモデルが生成するコンテンツは、本来のシーンに関する十分な文脈を持たないため、必然的に非本物となります。本研究では、画像の欠損部分を本来あるべきコンテンツで埋める新しい生成アプローチであるRealFillを提案します。RealFillは、シーンのわずかな参照画像のみを使用してパーソナライズされる生成インペインティングモデルです。これらの参照画像はターゲット画像と位置合わせされている必要はなく、視点、照明条件、カメラの絞り、または画像スタイルが大幅に異なる場合でも使用できます。パーソナライズされた後、RealFillはターゲット画像を、元のシーンに忠実で視覚的に説得力のあるコンテンツで完成させることができます。我々は、多様で挑戦的なシナリオをカバーする新しい画像補完ベンチマークでRealFillを評価し、既存のアプローチを大きく上回る性能を示すことを確認しました。詳細な結果はプロジェクトページ（https://realfill.github.io）をご覧ください。
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io