Edicho: Edición de Imágenes Coherente en Entornos no Controlados

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Autores: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Resumen

Como una necesidad verificada, la edición consistente en imágenes del mundo real sigue siendo un desafío técnico que surge de varios factores incontrolables, como posturas de objetos, condiciones de iluminación y entornos de fotografía. Edicho interviene con una solución sin entrenamiento basada en modelos de difusión, que presenta un principio de diseño fundamental de utilizar correspondencia explícita de imágenes para dirigir la edición. Específicamente, los componentes clave incluyen un módulo de manipulación de atención y una estrategia de desenfoque sin clasificador (CFG) cuidadosamente refinada, ambos teniendo en cuenta la correspondencia preestimada. Este algoritmo en tiempo de inferencia disfruta de una naturaleza de plug-and-play y es compatible con la mayoría de los métodos de edición basados en difusión, como ControlNet y BrushNet. Resultados extensos demuestran la eficacia de Edicho en la edición consistente entre imágenes bajo diferentes configuraciones. Publicaremos el código para facilitar futuros estudios.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.