Cora: Edição de imagens com correspondência consciente usando difusão em poucos passos

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Autores: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Resumo

A edição de imagens é uma tarefa importante em computação gráfica, visão computacional e efeitos visuais, com métodos recentes baseados em difusão alcançando resultados rápidos e de alta qualidade. No entanto, edições que exigem mudanças estruturais significativas, como deformações não rígidas, modificações de objetos ou geração de conteúdo, ainda são desafiadoras. As abordagens existentes de edição em poucos passos produzem artefatos, como texturas irrelevantes, ou têm dificuldade em preservar atributos-chave da imagem original (por exemplo, pose). Apresentamos Cora, uma nova estrutura de edição que aborda essas limitações ao introduzir correção de ruído com consciência de correspondência e mapas de atenção interpolados. Nosso método alinha texturas e estruturas entre as imagens de origem e destino por meio de correspondência semântica, permitindo a transferência precisa de textura enquanto gera novo conteúdo quando necessário. O Cora oferece controle sobre o equilíbrio entre geração e preservação de conteúdo. Experimentos extensivos demonstram que, quantitativa e qualitativamente, o Cora se destaca na manutenção de estrutura, texturas e identidade em diversas edições, incluindo mudanças de pose, adição de objetos e refinamentos de textura. Estudos com usuários confirmam que o Cora oferece resultados superiores, superando as alternativas.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.