Cora: Correspondentiebewust beeldbewerking met behulp van diffusie in enkele stappen

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Auteurs: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Samenvatting

Beeldbewerking is een belangrijke taak in computergraphics, computervisie en VFX, waarbij recente op diffusie gebaseerde methoden snelle en hoogwaardige resultaten behalen. Bewerkingen die significante structurele veranderingen vereisen, zoals niet-rigide vervormingen, objectmodificaties of contentgeneratie, blijven echter uitdagend. Bestaande benaderingen voor bewerkingen in weinig stappen produceren artefacten zoals irrelevante texturen of hebben moeite om belangrijke attributen van de bronafbeelding (bijvoorbeeld pose) te behouden. Wij introduceren Cora, een nieuw bewerkingsframework dat deze beperkingen aanpakt door correspondentiebewuste ruiscorrectie en geïnterpoleerde aandachtmaps te introduceren. Onze methode aligneert texturen en structuren tussen de bron- en doelafbeeldingen via semantische correspondentie, waardoor nauwkeurige textuuroverdracht mogelijk is terwijl nieuwe content wordt gegenereerd wanneer nodig. Cora biedt controle over de balans tussen contentgeneratie en -behoud. Uitgebreide experimenten tonen aan dat Cora, zowel kwantitatief als kwalitatief, uitblinkt in het behouden van structuur, texturen en identiteit bij diverse bewerkingen, waaronder poseveranderingen, objecttoevoegingen en textuurverfijningen. Gebruikersstudies bevestigen dat Cora superieure resultaten levert en alternatieve methoden overtreft.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.