RealFill: Generación Guiada por Referencias para la Completación Auténtica de Imágenes
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
Autores: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
Resumen
Los recientes avances en generación de imágenes han dado lugar a modelos de outpaiting e inpainting capaces de producir contenido visual de alta calidad y verosímil en regiones desconocidas. Sin embargo, el contenido que estos modelos generan es necesariamente inauténtico, ya que carecen de suficiente contexto sobre la escena real. En este trabajo, proponemos RealFill, un enfoque generativo novedoso para completar imágenes que rellena las regiones faltantes con el contenido que debería estar presente. RealFill es un modelo de inpainting generativo que se personaliza utilizando solo unas pocas imágenes de referencia de una escena. Estas imágenes de referencia no necesitan estar alineadas con la imagen objetivo y pueden capturarse con puntos de vista, condiciones de iluminación, aperturas de cámara o estilos de imagen drásticamente diferentes. Una vez personalizado, RealFill es capaz de completar una imagen objetivo con contenidos visualmente convincentes que son fieles a la escena original. Evaluamos RealFill en un nuevo benchmark de completado de imágenes que abarca un conjunto de escenarios diversos y desafiantes, y encontramos que supera ampliamente a los enfoques existentes. Más resultados disponibles en nuestra página del proyecto: https://realfill.github.io
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io