Custom-Edit : Édition d'images guidée par texte avec des modèles de diffusion personnalisés

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Auteurs: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Résumé

Les modèles de diffusion texte-image peuvent générer des images diverses et de haute fidélité à partir de prompts textuels fournis par l'utilisateur. Des recherches récentes ont étendu ces modèles pour prendre en charge l'édition d'images guidée par texte. Bien que le guidage par texte constitue une interface d'édition intuitive pour les utilisateurs, il échoue souvent à garantir la précision du concept transmis par ces derniers. Pour résoudre ce problème, nous proposons Custom-Edit, dans lequel nous (i) personnalisons un modèle de diffusion avec quelques images de référence, puis (ii) effectuons une édition guidée par texte. Notre découverte clé est que la personnalisation des paramètres pertinents pour le langage avec des prompts augmentés améliore significativement la similarité avec les références tout en préservant la similarité avec la source. De plus, nous fournissons notre recette pour chaque processus de personnalisation et d'édition. Nous comparons les méthodes de personnalisation populaires et validons nos résultats sur deux méthodes d'édition en utilisant divers jeux de données.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.