커스텀-에딧: 맞춤형 디퓨전 모델을 활용한 텍스트 기반 이미지 편집

초록

텍스트-이미지 확산 모델은 사용자가 제공한 텍스트 프롬프트를 기반으로 다양하고 고품질의 이미지를 생성할 수 있습니다. 최근 연구에서는 이러한 모델을 확장하여 텍스트 기반 이미지 편집을 지원하고 있습니다. 텍스트 지침은 사용자에게 직관적인 편집 인터페이스를 제공하지만, 사용자가 전달하려는 정확한 개념을 보장하지 못하는 경우가 많습니다. 이 문제를 해결하기 위해 우리는 Custom-Edit을 제안합니다. 이 방법에서는 (i) 몇 장의 참조 이미지를 사용하여 확산 모델을 맞춤화한 후 (ii) 텍스트 기반 편집을 수행합니다. 우리의 주요 발견은, 증강된 프롬프트와 함께 언어 관련 매개변수만 맞춤화하면 참조 유사성을 크게 개선하면서도 원본 유사성을 유지할 수 있다는 것입니다. 또한, 각 맞춤화 및 편집 프로세스에 대한 방법론을 제공합니다. 우리는 널리 사용되는 맞춤화 방법들을 비교하고, 다양한 데이터셋을 사용한 두 가지 편집 방법에 대한 실험 결과를 검증합니다.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.

커스텀-에딧: 맞춤형 디퓨전 모델을 활용한 텍스트 기반 이미지 편집

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

초록

Support