Custom-Edit: Modifica di Immagini Guidata da Testo con Modelli di Diffusione Personalizzati

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Autori: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Abstract

I modelli di diffusione text-to-image possono generare immagini diversificate e ad alta fedeltà basandosi su prompt testuali forniti dall'utente. Ricerche recenti hanno esteso questi modelli per supportare la modifica di immagini guidata da testo. Sebbene la guida testuale rappresenti un'interfaccia intuitiva per l'editing da parte degli utenti, spesso non riesce a garantire il concetto preciso che questi intendono trasmettere. Per affrontare questo problema, proponiamo Custom-Edit, in cui (i) personalizziamo un modello di diffusione con alcune immagini di riferimento e poi (ii) eseguiamo l'editing guidato da testo. La nostra scoperta chiave è che personalizzare solo i parametri rilevanti per il linguaggio con prompt aumentati migliora significativamente la somiglianza con il riferimento mantenendo al contempo la somiglianza con la sorgente. Inoltre, forniamo la nostra ricetta per ciascun processo di personalizzazione e modifica. Confrontiamo metodi di personalizzazione popolari e validiamo i nostri risultati su due metodi di editing utilizzando vari dataset.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.