FlexEdit: Edição de Imagens Centrada em Objetos com Difusão Flexível e Controlável

FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing

March 27, 2024

Autores: Trong-Tung Nguyen, Duc-Anh Nguyen, Anh Tran, Cuong Pham

cs.AI

Resumo

Nosso trabalho aborda limitações observadas em abordagens anteriores para problemas de edição centrada em objetos, como resultados irreais devido a discrepâncias de forma e controle limitado na substituição ou inserção de objetos. Para isso, introduzimos o FlexEdit, um framework de edição flexível e controlável para objetos, onde ajustamos iterativamente os latentes em cada etapa de denoização usando nosso bloco FlexEdit. Inicialmente, otimizamos os latentes em tempo de teste para alinhá-los com as restrições de objeto especificadas. Em seguida, nosso framework emprega uma máscara adaptativa, extraída automaticamente durante a denoização, para proteger o fundo enquanto integra de forma contínua o novo conteúdo na imagem alvo. Demonstramos a versatilidade do FlexEdit em várias tarefas de edição de objetos e criamos um conjunto de testes de avaliação com amostras de imagens reais e sintéticas, juntamente com novas métricas de avaliação projetadas para edição centrada em objetos. Realizamos extensos experimentos em diferentes cenários de edição, demonstrando a superioridade de nosso framework de edição em relação a métodos avançados recentes de edição de imagens guiadas por texto. Nossa página do projeto está publicada em https://flex-edit.github.io/.

English

Our work addresses limitations seen in previous approaches for object-centric editing problems, such as unrealistic results due to shape discrepancies and limited control in object replacement or insertion. To this end, we introduce FlexEdit, a flexible and controllable editing framework for objects where we iteratively adjust latents at each denoising step using our FlexEdit block. Initially, we optimize latents at test time to align with specified object constraints. Then, our framework employs an adaptive mask, automatically extracted during denoising, to protect the background while seamlessly blending new content into the target image. We demonstrate the versatility of FlexEdit in various object editing tasks and curate an evaluation test suite with samples from both real and synthetic images, along with novel evaluation metrics designed for object-centric editing. We conduct extensive experiments on different editing scenarios, demonstrating the superiority of our editing framework over recent advanced text-guided image editing methods. Our project page is published at https://flex-edit.github.io/.