FlexEdit: Flexibele en controleerbare objectgerichte beeldbewerking op basis van diffusie

FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing

March 27, 2024

Auteurs: Trong-Tung Nguyen, Duc-Anh Nguyen, Anh Tran, Cuong Pham

cs.AI

Samenvatting

Ons werk richt zich op de beperkingen die worden waargenomen in eerdere benaderingen voor objectgerichte bewerkingsproblemen, zoals onrealistische resultaten door vormafwijkingen en beperkte controle bij objectvervanging of -invoeging. Hiertoe introduceren we FlexEdit, een flexibel en controleerbaar bewerkingsframework voor objecten waarbij we latenties iteratief aanpassen bij elke denoisestap met behulp van ons FlexEdit-blok. In eerste instantie optimaliseren we latenties tijdens testtijd om af te stemmen op gespecificeerde objectbeperkingen. Vervolgens gebruikt ons framework een adaptief masker, dat automatisch wordt geëxtraheerd tijdens denoising, om de achtergrond te beschermen terwijl nieuwe inhoud naadloos wordt geïntegreerd in de doelafbeelding. We demonstreren de veelzijdigheid van FlexEdit in verschillende objectbewerkingstaken en stellen een evaluatietestsuite samen met voorbeelden uit zowel echte als synthetische afbeeldingen, samen met nieuwe evaluatiemetrics die zijn ontworpen voor objectgerichte bewerking. We voeren uitgebreide experimenten uit in verschillende bewerkingsscenario's, waarbij we de superioriteit van ons bewerkingsframework aantonen ten opzichte van recente geavanceerde tekstgestuurde beeldbewerkingsmethoden. Onze projectpagina is gepubliceerd op https://flex-edit.github.io/.

English

Our work addresses limitations seen in previous approaches for object-centric editing problems, such as unrealistic results due to shape discrepancies and limited control in object replacement or insertion. To this end, we introduce FlexEdit, a flexible and controllable editing framework for objects where we iteratively adjust latents at each denoising step using our FlexEdit block. Initially, we optimize latents at test time to align with specified object constraints. Then, our framework employs an adaptive mask, automatically extracted during denoising, to protect the background while seamlessly blending new content into the target image. We demonstrate the versatility of FlexEdit in various object editing tasks and curate an evaluation test suite with samples from both real and synthetic images, along with novel evaluation metrics designed for object-centric editing. We conduct extensive experiments on different editing scenarios, demonstrating the superiority of our editing framework over recent advanced text-guided image editing methods. Our project page is published at https://flex-edit.github.io/.