Cora: 소수 단계 확산을 사용한 대응 관계 인식 이미지 편집

초록

이미지 편집은 컴퓨터 그래픽스, 비전, 그리고 VFX 분야에서 중요한 작업으로, 최근 확산 기반 방법들이 빠르고 고품질의 결과를 달성하고 있습니다. 그러나 비강체 변형, 객체 수정, 또는 콘텐츠 생성과 같은 상당한 구조적 변화가 필요한 편집은 여전히 어려운 과제로 남아 있습니다. 기존의 몇 단계 편집 접근법들은 관련 없는 텍스처와 같은 아티팩트를 생성하거나 원본 이미지의 주요 속성(예: 포즈)을 보존하는 데 어려움을 겪습니다. 우리는 이러한 한계를 해결하기 위해 대응 관계 인식 노이즈 보정과 보간된 어텐션 맵을 도입한 새로운 편집 프레임워크인 Cora를 소개합니다. 우리의 방법은 시맨틱 대응 관계를 통해 원본 이미지와 대상 이미지 간의 텍스처와 구조를 정렬함으로써, 필요한 경우 새로운 콘텐츠를 생성하면서도 정확한 텍스처 전달을 가능하게 합니다. Cora는 콘텐츠 생성과 보존 사이의 균형을 제어할 수 있는 기능을 제공합니다. 다양한 편집(포즈 변경, 객체 추가, 텍스처 개선 등)에 걸쳐 구조, 텍스처, 그리고 정체성을 유지하는 데 있어 Cora가 양적 및 질적으로 우수함을 광범위한 실험을 통해 입증했습니다. 사용자 연구는 Cora가 대안들을 능가하는 우수한 결과를 제공함을 확인시켜 줍니다.

English

Image editing is an important task in computer graphics, vision, and VFX, with recent diffusion-based methods achieving fast and high-quality results. However, edits requiring significant structural changes, such as non-rigid deformations, object modifications, or content generation, remain challenging. Existing few step editing approaches produce artifacts such as irrelevant texture or struggle to preserve key attributes of the source image (e.g., pose). We introduce Cora, a novel editing framework that addresses these limitations by introducing correspondence-aware noise correction and interpolated attention maps. Our method aligns textures and structures between the source and target images through semantic correspondence, enabling accurate texture transfer while generating new content when necessary. Cora offers control over the balance between content generation and preservation. Extensive experiments demonstrate that, quantitatively and qualitatively, Cora excels in maintaining structure, textures, and identity across diverse edits, including pose changes, object addition, and texture refinements. User studies confirm that Cora delivers superior results, outperforming alternatives.

Cora: 소수 단계 확산을 사용한 대응 관계 인식 이미지 편집

Cora: Correspondence-aware image editing using few step diffusion

초록

Support