RealFill : Génération pilotée par référence pour la complétion authentique d'images
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
papers.authors: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
papers.abstract
Les récents progrès dans le domaine de la génération d'images ont donné naissance à des modèles de "outpainting" et "inpainting" capables de produire un contenu visuel de haute qualité et plausible dans des régions inconnues. Cependant, le contenu que ces modèles hallucinent est nécessairement inauthentique, car ils manquent de contexte suffisant sur la scène réelle. Dans ce travail, nous proposons RealFill, une nouvelle approche générative pour la complétion d'images qui remplit les régions manquantes d'une image avec le contenu qui aurait dû s'y trouver. RealFill est un modèle d'inpainting génératif personnalisé à l'aide de seulement quelques images de référence d'une scène. Ces images de référence n'ont pas besoin d'être alignées avec l'image cible et peuvent être prises avec des points de vue, des conditions d'éclairage, des ouvertures de caméra ou des styles d'image radicalement différents. Une fois personnalisé, RealFill est capable de compléter une image cible avec un contenu visuellement convaincant et fidèle à la scène originale. Nous évaluons RealFill sur un nouveau benchmark de complétion d'images couvrant un ensemble de scénarios divers et difficiles, et constatons qu'il surpasse largement les approches existantes. Consultez plus de résultats sur notre page de projet : https://realfill.github.io
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io