Cora: Korrespondenzbewusste Bildbearbeitung mit wenigen Diffusionsschritten

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Autoren: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Zusammenfassung

Bildbearbeitung ist eine wichtige Aufgabe in den Bereichen Computergrafik, Bildverarbeitung und visuelle Effekte, wobei aktuelle diffusionsbasierte Methoden schnelle und hochwertige Ergebnisse erzielen. Bearbeitungen, die signifikante strukturelle Änderungen erfordern, wie nicht-rigide Verformungen, Objektmodifikationen oder Inhaltsgenerierung, bleiben jedoch herausfordernd. Bestehende Ansätze mit wenigen Bearbeitungsschritten erzeugen Artefakte wie irrelevante Texturen oder haben Schwierigkeiten, Schlüsselattribute des Ausgangsbildes (z. B. Pose) zu erhalten. Wir stellen Cora vor, ein neuartiges Bearbeitungsframework, das diese Einschränkungen durch die Einführung von korrespondenzbewusster Rauschkorrektur und interpolierten Aufmerksamkeitskarten überwindet. Unsere Methode richtet Texturen und Strukturen zwischen dem Ausgangs- und dem Zielbild durch semantische Korrespondenz aus, ermöglicht eine präzise Texturübertragung und generiert bei Bedarf neue Inhalte. Cora bietet Kontrolle über das Gleichgewicht zwischen Inhaltsgenerierung und -erhaltung. Umfangreiche Experimente zeigen, dass Cora quantitativ und qualitativ in der Erhaltung von Struktur, Texturen und Identität bei verschiedenen Bearbeitungen, einschließlich Poseänderungen, Objekthinzufügung und Texturverfeinerungen, überzeugt. Nutzerstudien bestätigen, dass Cora überlegene Ergebnisse liefert und Alternativen übertrifft.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.