Diffree: 확산 모델 기반 텍스트 가이드 형상 자유 객체 인페인팅

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

July 24, 2024

저자: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji

cs.AI

초록

본 논문은 텍스트 지시만으로 이미지에 객체를 추가하는 중요한 문제를 다룹니다. 이는 새로운 객체가 조명, 질감, 공간적 위치와 같은 일관된 시각적 맥락 속에서 원활하게 통합되어야 하기 때문에 어려운 과제입니다. 기존의 텍스트 기반 이미지 인페인팅 방법들은 객체를 추가할 수 있지만, 배경 일관성을 유지하지 못하거나 경계 상자나 사용자 스크리블 마스크를 지정하는 번거로운 인간 개입이 필요합니다. 이러한 문제를 해결하기 위해, 우리는 텍스트 제어만으로 텍스트 기반 객체 추가를 가능하게 하는 Diffree라는 텍스트-이미지(T2I) 모델을 소개합니다. 이를 위해, 우리는 고급 이미지 인페인팅 기술을 사용하여 객체를 제거한 정교한 합성 데이터셋인 OABench를 구축했습니다. OABench는 원본 이미지, 객체가 제거된 인페인팅 이미지, 객체 마스크, 그리고 객체 설명으로 구성된 74K개의 실제 데이터 튜플을 포함합니다. Stable Diffusion 모델에 추가 마스크 예측 모듈을 적용하여 OABench로 학습된 Diffree는 새로운 객체의 위치를 독창적으로 예측하고 텍스트 지시만으로 객체 추가를 달성합니다. 광범위한 실험을 통해 Diffree는 높은 성공률로 새로운 객체를 추가하면서도 배경 일관성, 공간적 적절성, 객체 관련성 및 품질을 유지하는 데 탁월한 성능을 보임을 입증했습니다.

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.