FlexEdit: Edición de imágenes centrada en objetos mediante difusión flexible y controlable

FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing

March 27, 2024

Autores: Trong-Tung Nguyen, Duc-Anh Nguyen, Anh Tran, Cuong Pham

cs.AI

Resumen

Nuestro trabajo aborda las limitaciones observadas en enfoques previos para problemas de edición centrados en objetos, como resultados poco realistas debido a discrepancias en la forma y control limitado en el reemplazo o inserción de objetos. Para ello, presentamos FlexEdit, un marco de edición flexible y controlable para objetos donde ajustamos iterativamente los latentes en cada paso de eliminación de ruido utilizando nuestro bloque FlexEdit. Inicialmente, optimizamos los latentes en tiempo de prueba para alinearlos con las restricciones de objetos especificadas. Luego, nuestro marco emplea una máscara adaptativa, extraída automáticamente durante la eliminación de ruido, para proteger el fondo mientras integramos de manera fluida nuevo contenido en la imagen objetivo. Demostramos la versatilidad de FlexEdit en diversas tareas de edición de objetos y creamos un conjunto de pruebas de evaluación con muestras de imágenes tanto reales como sintéticas, junto con métricas de evaluación novedosas diseñadas para la edición centrada en objetos. Realizamos experimentos extensos en diferentes escenarios de edición, demostrando la superioridad de nuestro marco de edición sobre métodos avanzados recientes de edición de imágenes guiados por texto. Nuestra página del proyecto está publicada en https://flex-edit.github.io/.

English

Our work addresses limitations seen in previous approaches for object-centric editing problems, such as unrealistic results due to shape discrepancies and limited control in object replacement or insertion. To this end, we introduce FlexEdit, a flexible and controllable editing framework for objects where we iteratively adjust latents at each denoising step using our FlexEdit block. Initially, we optimize latents at test time to align with specified object constraints. Then, our framework employs an adaptive mask, automatically extracted during denoising, to protect the background while seamlessly blending new content into the target image. We demonstrate the versatility of FlexEdit in various object editing tasks and curate an evaluation test suite with samples from both real and synthetic images, along with novel evaluation metrics designed for object-centric editing. We conduct extensive experiments on different editing scenarios, demonstrating the superiority of our editing framework over recent advanced text-guided image editing methods. Our project page is published at https://flex-edit.github.io/.