RealFill: 참조 기반의 진정성 있는 이미지 완성을 위한 생성 기술

초록

최근 생성형 이미지 기술의 발전으로 알려지지 않은 영역에 고품질의 그럴듯한 이미지 콘텐츠를 생성할 수 있는 아웃페인팅 및 인페인팅 모델이 등장했습니다. 그러나 이러한 모델들이 생성하는 콘텐츠는 본질적으로 진실성이 결여되어 있습니다. 이는 모델이 실제 장면에 대한 충분한 맥락을 가지고 있지 않기 때문입니다. 본 연구에서는 이미지의 누락된 영역을 원래 있어야 할 콘텐츠로 채우는 새로운 생성적 접근 방식인 RealFill을 제안합니다. RealFill은 단 몇 장의 참조 이미지만을 사용하여 개인화된 생성형 인페인팅 모델입니다. 이러한 참조 이미지는 대상 이미지와 정렬될 필요가 없으며, 시점, 조명 조건, 카메라 조리개 또는 이미지 스타일이 크게 달라도 상관없습니다. 개인화된 후, RealFill은 원본 장면에 충실하면서도 시각적으로 매력적인 콘텐츠로 대상 이미지를 완성할 수 있습니다. 우리는 RealFill을 다양한 도전적인 시나리오를 포함한 새로운 이미지 완성 벤치마크에서 평가했으며, 기존 접근 방식을 크게 능가하는 성능을 보임을 확인했습니다. 더 많은 결과는 프로젝트 페이지(https://realfill.github.io)에서 확인할 수 있습니다.

English

Recent advances in generative imagery have brought forth outpainting and inpainting models that can produce high-quality, plausible image content in unknown regions, but the content these models hallucinate is necessarily inauthentic, since the models lack sufficient context about the true scene. In this work, we propose RealFill, a novel generative approach for image completion that fills in missing regions of an image with the content that should have been there. RealFill is a generative inpainting model that is personalized using only a few reference images of a scene. These reference images do not have to be aligned with the target image, and can be taken with drastically varying viewpoints, lighting conditions, camera apertures, or image styles. Once personalized, RealFill is able to complete a target image with visually compelling contents that are faithful to the original scene. We evaluate RealFill on a new image completion benchmark that covers a set of diverse and challenging scenarios, and find that it outperforms existing approaches by a large margin. See more results on our project page: https://realfill.github.io

RealFill: 참조 기반의 진정성 있는 이미지 완성을 위한 생성 기술

RealFill: Reference-Driven Generation for Authentic Image Completion

초록

Support