RealFill: Referenzgesteuerte Generierung für authentische Bildergänzung
RealFill: Reference-Driven Generation for Authentic Image Completion
September 28, 2023
papers.authors: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein
cs.AI
papers.abstract
Jüngste Fortschritte in der generativen Bildverarbeitung haben Outpainting- und Inpainting-Modelle hervorgebracht, die hochwertige und plausible Bildinhalte in unbekannten Regionen erzeugen können. Allerdings sind die Inhalte, die diese Modelle halluzinieren, zwangsläufig nicht authentisch, da den Modellen der ausreichende Kontext über die tatsächliche Szene fehlt. In dieser Arbeit stellen wir RealFill vor, einen neuartigen generativen Ansatz zur Bildvervollständigung, der fehlende Bereiche eines Bildes mit den Inhalten füllt, die dort eigentlich vorhanden sein sollten. RealFill ist ein generatives Inpainting-Modell, das mithilfe weniger Referenzbilder einer Szene personalisiert wird. Diese Referenzbilder müssen nicht mit dem Zielbild ausgerichtet sein und können mit stark variierenden Blickwinkeln, Lichtverhältnissen, Blendenöffnungen oder Bildstilen aufgenommen werden. Nach der Personalisierung ist RealFill in der Lage, ein Zielbild mit visuell überzeugenden Inhalten zu vervollständigen, die der ursprünglichen Szene treu bleiben. Wir evaluieren RealFill anhand eines neuen Benchmarks zur Bildvervollständigung, der eine Reihe von vielfältigen und anspruchsvollen Szenarien abdeckt, und stellen fest, dass es bestehende Ansätze deutlich übertrifft. Weitere Ergebnisse finden Sie auf unserer Projektseite: https://realfill.github.io.
English
Recent advances in generative imagery have brought forth outpainting and
inpainting models that can produce high-quality, plausible image content in
unknown regions, but the content these models hallucinate is necessarily
inauthentic, since the models lack sufficient context about the true scene. In
this work, we propose RealFill, a novel generative approach for image
completion that fills in missing regions of an image with the content that
should have been there. RealFill is a generative inpainting model that is
personalized using only a few reference images of a scene. These reference
images do not have to be aligned with the target image, and can be taken with
drastically varying viewpoints, lighting conditions, camera apertures, or image
styles. Once personalized, RealFill is able to complete a target image with
visually compelling contents that are faithful to the original scene. We
evaluate RealFill on a new image completion benchmark that covers a set of
diverse and challenging scenarios, and find that it outperforms existing
approaches by a large margin. See more results on our project page:
https://realfill.github.io