RealFill: Referentie-gestuurde generatie voor authentieke beeldcompletering

RealFill: Reference-Driven Generation for Authentic Image Completion

September 28, 2023

Auteurs: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein

cs.AI

Samenvatting

Recente ontwikkelingen in generatieve beeldvorming hebben outpaintings- en inpaintingsmodellen voortgebracht die hoogwaardige, geloofwaardige beeldinhoud kunnen produceren in onbekende gebieden, maar de inhoud die deze modellen hallucineren is noodzakelijkerwijs onauthentiek, omdat de modellen onvoldoende context hebben over de werkelijke scène. In dit werk stellen we RealFill voor, een nieuwe generatieve benadering voor beeldcompletering die ontbrekende gebieden van een afbeelding invult met de inhoud die daar had moeten zijn. RealFill is een generatief inpaintingmodel dat wordt gepersonaliseerd met slechts enkele referentiebeelden van een scène. Deze referentiebeelden hoeven niet uitgelijnd te zijn met de doelafbeelding en kunnen zijn gemaakt met sterk variërende gezichtspunten, lichtomstandigheden, cameradiafragma's of beeldstijlen. Eenmaal gepersonaliseerd, is RealFill in staat om een doelafbeelding aan te vullen met visueel overtuigende inhoud die trouw is aan de oorspronkelijke scène. We evalueren RealFill op een nieuwe benchmark voor beeldcompletering die een reeks diverse en uitdagende scenario's omvat, en constateren dat het bestaande benaderingen met een grote marge overtreft. Bekijk meer resultaten op onze projectpagina: https://realfill.github.io

English

Recent advances in generative imagery have brought forth outpainting and inpainting models that can produce high-quality, plausible image content in unknown regions, but the content these models hallucinate is necessarily inauthentic, since the models lack sufficient context about the true scene. In this work, we propose RealFill, a novel generative approach for image completion that fills in missing regions of an image with the content that should have been there. RealFill is a generative inpainting model that is personalized using only a few reference images of a scene. These reference images do not have to be aligned with the target image, and can be taken with drastically varying viewpoints, lighting conditions, camera apertures, or image styles. Once personalized, RealFill is able to complete a target image with visually compelling contents that are faithful to the original scene. We evaluate RealFill on a new image completion benchmark that covers a set of diverse and challenging scenarios, and find that it outperforms existing approaches by a large margin. See more results on our project page: https://realfill.github.io