Cora: Modifica di immagini con consapevolezza delle corrispondenze utilizzando la diffusione in pochi passaggi

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Autori: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Abstract

La modifica delle immagini è un compito importante nella computer grafica, nella visione artificiale e negli effetti visivi, con i recenti metodi basati su diffusione che raggiungono risultati rapidi e di alta qualità. Tuttavia, le modifiche che richiedono cambiamenti strutturali significativi, come deformazioni non rigide, modifiche agli oggetti o generazione di contenuti, rimangono complesse. Gli approcci esistenti di modifica in pochi passaggi producono artefatti come texture irrilevanti o faticano a preservare gli attributi chiave dell'immagine sorgente (ad esempio, la posa). Introduciamo Cora, un nuovo framework di modifica che affronta queste limitazioni introducendo la correzione del rumore con consapevolezza delle corrispondenze e mappe di attenzione interpolate. Il nostro metodo allinea texture e strutture tra l'immagine sorgente e quella target attraverso corrispondenze semantiche, consentendo un trasferimento accurato della texture mentre genera nuovo contenuto quando necessario. Cora offre controllo sull'equilibrio tra generazione e preservazione del contenuto. Esperimenti estensivi dimostrano che, sia quantitativamente che qualitativamente, Cora eccelle nel mantenere struttura, texture e identità attraverso diverse modifiche, inclusi cambiamenti di posa, aggiunta di oggetti e perfezionamenti della texture. Studi condotti con utenti confermano che Cora fornisce risultati superiori, superando le alternative.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.