Cora : Édition d'images sensible à la correspondance utilisant une diffusion en quelques étapes

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Auteurs: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Résumé

L'édition d'images est une tâche importante en infographie, vision par ordinateur et effets visuels, avec des méthodes récentes basées sur la diffusion atteignant des résultats rapides et de haute qualité. Cependant, les modifications nécessitant des changements structurels significatifs, tels que les déformations non rigides, les modifications d'objets ou la génération de contenu, restent difficiles. Les approches existantes d'édition en quelques étapes produisent des artefacts comme des textures non pertinentes ou peinent à préserver les attributs clés de l'image source (par exemple, la pose). Nous présentons Cora, un nouveau cadre d'édition qui surmonte ces limitations en introduisant une correction de bruit sensible à la correspondance et des cartes d'attention interpolées. Notre méthode aligne les textures et les structures entre les images source et cible grâce à une correspondance sémantique, permettant un transfert de texture précis tout en générant de nouveaux contenus si nécessaire. Cora offre un contrôle sur l'équilibre entre génération et préservation de contenu. Des expériences approfondies montrent que, quantitativement et qualitativement, Cora excelle dans le maintien de la structure, des textures et de l'identité à travers diverses modifications, y compris les changements de pose, l'ajout d'objets et les raffinements de texture. Des études utilisateurs confirment que Cora fournit des résultats supérieurs, surpassant les alternatives.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.