Cora: Редактирование изображений с учетом соответствий с использованием диффузионной модели за несколько шагов

Cora: Correspondence-aware image editing using few step diffusion

May 29, 2025

Авторы: Amirhossein Almohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

cs.AI

Аннотация

Редактирование изображений является важной задачей в компьютерной графике, компьютерном зрении и визуальных эффектах, причем современные методы на основе диффузии позволяют достигать быстрых и качественных результатов. Однако редактирование, требующее значительных структурных изменений, таких как нежесткие деформации, модификация объектов или генерация контента, остается сложной задачей. Существующие подходы, выполняющие редактирование за несколько шагов, часто создают артефакты, такие как нерелевантные текстуры, или не могут сохранить ключевые атрибуты исходного изображения (например, позу). Мы представляем Cora — новый фреймворк для редактирования, который устраняет эти ограничения за счет введения коррекции шума с учетом соответствий и интерполированных карт внимания. Наш метод выравнивает текстуры и структуры между исходным и целевым изображениями через семантическое соответствие, обеспечивая точный перенос текстур и генерацию нового контента при необходимости. Cora предоставляет контроль над балансом между генерацией и сохранением контента. Многочисленные эксперименты показывают, что как количественно, так и качественно Cora превосходит другие методы в сохранении структуры, текстур и идентичности при различных типах редактирования, включая изменение позы, добавление объектов и уточнение текстур. Пользовательские исследования подтверждают, что Cora обеспечивает превосходные результаты, превосходя альтернативные подходы.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.