Custom-Edit: Textgesteuerte Bildbearbeitung mit angepassten Diffusionsmodellen

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Autoren: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Zusammenfassung

Text-to-Image-Diffusionsmodelle können vielfältige, hochwertige Bilder basierend auf benutzerdefinierten Textanweisungen generieren. Aktuelle Forschung hat diese Modelle erweitert, um textgesteuerte Bildbearbeitung zu ermöglichen. Obwohl die Textführung eine intuitive Schnittstelle für Benutzer darstellt, gewährleistet sie oft nicht die präzise Konzeptvermittlung, die Benutzer intendieren. Um dieses Problem zu lösen, schlagen wir Custom-Edit vor, bei dem wir (i) ein Diffusionsmodell mit wenigen Referenzbildern anpassen und anschließend (ii) eine textgesteuerte Bearbeitung durchführen. Unsere zentrale Erkenntnis ist, dass die Anpassung nur der sprachrelevanten Parameter mit erweiterten Anweisungen die Ähnlichkeit zu den Referenzen signifikant verbessert, während die Ähnlichkeit zur Ausgangsquelle erhalten bleibt. Darüber hinaus stellen wir unser Vorgehen für jeden Anpassungs- und Bearbeitungsprozess bereit. Wir vergleichen gängige Anpassungsmethoden und validieren unsere Ergebnisse anhand zweier Bearbeitungsmethoden mit verschiedenen Datensätzen.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.