Custom-Edit: Tekstgestuurd beeldbewerken met aangepaste diffusiemodellen

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Auteurs: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Samenvatting

Text-to-image diffusiemodellen kunnen diverse, hoogwaardige afbeeldingen genereren op basis van door gebruikers aangeleverde tekstprompts. Recent onderzoek heeft deze modellen uitgebreid om tekstgeleide beeldbewerking te ondersteunen. Hoewel tekstgeleiding een intuïtieve bewerkingsinterface voor gebruikers is, slaagt het vaak niet om het precieze concept dat gebruikers willen overbrengen te waarborgen. Om dit probleem aan te pakken, stellen we Custom-Edit voor, waarin we (i) een diffusiemodel aanpassen met een paar referentieafbeeldingen en vervolgens (ii) tekstgeleide bewerking uitvoeren. Onze belangrijkste ontdekking is dat het aanpassen van alleen taalrelevante parameters met uitgebreide prompts de referentieovereenkomst aanzienlijk verbetert, terwijl de bronovereenkomst behouden blijft. Bovendien bieden we ons recept voor elk aanpassings- en bewerkingsproces. We vergelijken populaire aanpassingsmethoden en valideren onze bevindingen op twee bewerkingsmethoden met behulp van verschillende datasets.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.