RealFill: Generazione Guidata da Riferimenti per il Completamento Autentico di Immagini
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
Autori: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
Abstract
I recenti progressi nella generazione di immagini hanno portato alla creazione di modelli di outpaiting e inpainting in grado di produrre contenuti visivi di alta qualità e plausibili in regioni sconosciute. Tuttavia, il contenuto che questi modelli "allucinano" è necessariamente inautentico, poiché i modelli non dispongono di un contesto sufficiente sulla scena reale. In questo lavoro, proponiamo RealFill, un approccio generativo innovativo per il completamento delle immagini che riempie le regioni mancanti di un'immagine con il contenuto che avrebbe dovuto esserci. RealFill è un modello di inpainting generativo che viene personalizzato utilizzando solo poche immagini di riferimento di una scena. Queste immagini di riferimento non devono essere allineate con l'immagine target e possono essere scattate con punti di vista, condizioni di illuminazione, aperture della fotocamera o stili di immagine drasticamente diversi. Una volta personalizzato, RealFill è in grado di completare un'immagine target con contenuti visivamente convincenti e fedeli alla scena originale. Valutiamo RealFill su un nuovo benchmark di completamento delle immagini che copre una serie di scenari diversificati e impegnativi, e riscontriamo che supera di gran lunga gli approcci esistenti. Ulteriori risultati sono disponibili sulla nostra pagina del progetto: https://realfill.github.io.
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io