RealFill: Эталонно-ориентированная генерация для аутентичного завершения изображений

RealFill: Reference-Driven Generation for Authentic Image Completion

September 28, 2023

Авторы: Luming Tang, Nataniel Ruiz, Qinghao Chu, Yuanzhen Li, Aleksander Holynski, David E. Jacobs, Bharath Hariharan, Yael Pritch, Neal Wadhwa, Kfir Aberman, Michael Rubinstein

cs.AI

Аннотация

Недавние достижения в области генеративной визуализации привели к появлению моделей для расширения и восстановления изображений, которые способны создавать высококачественное и правдоподобное содержимое в неизвестных областях. Однако содержимое, которое эти модели "додумывают", по своей природе является недостоверным, поскольку модели не обладают достаточным контекстом о реальной сцене. В данной работе мы представляем RealFill — новый генеративный подход для завершения изображений, который заполняет отсутствующие области изображения тем содержимым, которое должно было бы там находиться. RealFill — это модель для восстановления изображений, которая персонализируется с использованием всего нескольких референсных изображений сцены. Эти референсные изображения не обязательно должны быть согласованы с целевым изображением и могут быть сделаны с совершенно разными ракурсами, условиями освещения, настройками диафрагмы или стилями изображений. После персонализации RealFill способен завершить целевое изображение визуально убедительным содержимым, которое соответствует оригинальной сцене. Мы оцениваем RealFill на новом эталонном тесте для завершения изображений, охватывающем разнообразные и сложные сценарии, и обнаруживаем, что он значительно превосходит существующие подходы. Дополнительные результаты можно найти на странице проекта: https://realfill.github.io.

English

Recent advances in generative imagery have brought forth outpainting and inpainting models that can produce high-quality, plausible image content in unknown regions, but the content these models hallucinate is necessarily inauthentic, since the models lack sufficient context about the true scene. In this work, we propose RealFill, a novel generative approach for image completion that fills in missing regions of an image with the content that should have been there. RealFill is a generative inpainting model that is personalized using only a few reference images of a scene. These reference images do not have to be aligned with the target image, and can be taken with drastically varying viewpoints, lighting conditions, camera apertures, or image styles. Once personalized, RealFill is able to complete a target image with visually compelling contents that are faithful to the original scene. We evaluate RealFill on a new image completion benchmark that covers a set of diverse and challenging scenarios, and find that it outperforms existing approaches by a large margin. See more results on our project page: https://realfill.github.io