RealFill: Geração Orientada por Referência para Preenchimento Autêntico de Imagens
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
Autores: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
Resumo
Avanços recentes em geração de imagens trouxeram modelos de outpaiting e inpainting que podem produzir conteúdo visual de alta qualidade e plausível em regiões desconhecidas, mas o conteúdo que esses modelos alucinam é necessariamente inautêntico, já que os modelos carecem de contexto suficiente sobre a cena real. Neste trabalho, propomos o RealFill, uma abordagem generativa inovadora para completar imagens que preenche regiões ausentes com o conteúdo que deveria estar lá. O RealFill é um modelo de inpainting generativo que é personalizado usando apenas algumas imagens de referência de uma cena. Essas imagens de referência não precisam estar alinhadas com a imagem-alvo e podem ser capturadas com pontos de vista, condições de iluminação, aberturas de câmera ou estilos de imagem drasticamente variados. Uma vez personalizado, o RealFill é capaz de completar uma imagem-alvo com conteúdos visualmente convincentes e fiéis à cena original. Avaliamos o RealFill em um novo benchmark de completamento de imagens que abrange um conjunto de cenários diversos e desafiadores, e constatamos que ele supera as abordagens existentes por uma grande margem. Veja mais resultados em nossa página do projeto: https://realfill.github.io.
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io