역전 및 편집: 사이클 일관성을 통한 효과적이고 빠른 이미지 편집 모델

초록

확산 모델을 이용한 이미지 편집의 최근 발전은 생성 과정에 대한 세밀한 제어를 가능하게 하여 인상적인 결과를 달성했습니다. 그러나 이러한 방법들은 반복적인 특성으로 인해 계산적으로 매우 부담이 큽니다. 증류된 확산 모델은 더 빠른 추론을 가능하게 하지만, 주로 낮은 역변환 품질로 인해 편집 기능이 제한적입니다. 고품질의 역변환과 재구성은 원본 이미지의 구조적 및 의미적 무결성을 보존하기 때문에 정밀한 이미지 편집에 필수적입니다. 본 연구에서는 일관성 모델을 활용하여 이미지 역변환을 강화하고, 단 4단계만으로 고품질 편집을 가능하게 하는 새로운 프레임워크를 제안합니다. 우리의 방법은 재구성 정확도를 크게 향상시키고 편집 가능성과 내용 보존 사이의 조절 가능한 균형을 가능하게 하는 주기적 일관성 최적화 전략을 도입합니다. 다양한 이미지 편집 작업과 데이터셋에서 최첨단 성능을 달성하며, 우리의 방법이 전체 단계 확산 모델을 능가하거나 동등한 성능을 보이면서도 훨씬 더 효율적임을 입증합니다. 본 방법의 코드는 https://github.com/ControlGenAI/Inverse-and-Edit에서 확인할 수 있습니다.

English

Recent advances in image editing with diffusion models have achieved impressive results, offering fine-grained control over the generation process. However, these methods are computationally intensive because of their iterative nature. While distilled diffusion models enable faster inference, their editing capabilities remain limited, primarily because of poor inversion quality. High-fidelity inversion and reconstruction are essential for precise image editing, as they preserve the structural and semantic integrity of the source image. In this work, we propose a novel framework that enhances image inversion using consistency models, enabling high-quality editing in just four steps. Our method introduces a cycle-consistency optimization strategy that significantly improves reconstruction accuracy and enables a controllable trade-off between editability and content preservation. We achieve state-of-the-art performance across various image editing tasks and datasets, demonstrating that our method matches or surpasses full-step diffusion models while being substantially more efficient. The code of our method is available on GitHub at https://github.com/ControlGenAI/Inverse-and-Edit.

역전 및 편집: 사이클 일관성을 통한 효과적이고 빠른 이미지 편집 모델

Inverse-and-Edit: Effective and Fast Image Editing by Cycle Consistency Models

초록

Support