Cora: Edición de imágenes consciente de correspondencias usando difusión en pocos pasos

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Autores: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Resumen

La edición de imágenes es una tarea importante en gráficos por computadora, visión artificial y efectos visuales, con métodos recientes basados en difusión que logran resultados rápidos y de alta calidad. Sin embargo, las ediciones que requieren cambios estructurales significativos, como deformaciones no rígidas, modificaciones de objetos o generación de contenido, siguen siendo un desafío. Los enfoques existentes de edición en pocos pasos producen artefactos como texturas irrelevantes o tienen dificultades para preservar atributos clave de la imagen original (por ejemplo, la pose). Presentamos Cora, un marco de edición novedoso que aborda estas limitaciones mediante la introducción de corrección de ruido consciente de correspondencias y mapas de atención interpolados. Nuestro método alinea texturas y estructuras entre la imagen fuente y la imagen objetivo a través de correspondencia semántica, permitiendo una transferencia precisa de texturas mientras genera nuevo contenido cuando es necesario. Cora ofrece control sobre el equilibrio entre la generación y la preservación de contenido. Experimentos extensos demuestran que, cuantitativa y cualitativamente, Cora sobresale en mantener la estructura, las texturas y la identidad en diversas ediciones, incluyendo cambios de pose, adición de objetos y refinamientos de textura. Estudios con usuarios confirman que Cora ofrece resultados superiores, superando a las alternativas.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.