ReNoise: 반복적 노이즈 추가를 통한 실사 이미지 역변환

ReNoise: Real Image Inversion Through Iterative Noising

March 21, 2024

저자: Daniel Garibi, Or Patashnik, Andrey Voynov, Hadar Averbuch-Elor, Daniel Cohen-Or

cs.AI

초록

텍스트 기반 확산 모델의 최근 발전은 강력한 이미지 조작 기능을 가능하게 했습니다. 그러나 이러한 방법을 실제 이미지에 적용하기 위해서는 사전 학습된 확산 모델의 도메인으로 이미지를 역변환해야 합니다. 특히 적은 수의 노이즈 제거 단계로 이미지를 생성하도록 훈련된 최신 모델의 경우, 충실한 역변환을 달성하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 연산 횟수를 증가시키지 않으면서 재구성 정확도를 향상시키는 고품질 대 연산 비율의 역변환 방법을 소개합니다. 확산 샘플링 과정을 역으로 진행하는 기반 위에, 우리의 방법은 각 역변환 샘플링 단계에서 반복적인 재노이즈 메커니즘을 사용합니다. 이 메커니즘은 사전 학습된 확산 모델을 반복적으로 적용하고 이러한 예측을 평균화함으로써 순방향 확산 경로를 따라 예측된 점의 근사치를 개선합니다. 우리는 ReNoise 기법의 성능을 다양한 샘플링 알고리즘과 모델, 최근의 가속화된 확산 모델을 포함하여 평가합니다. 포괄적인 평가와 비교를 통해 정확도와 속도 측면에서의 효과성을 입증합니다. 또한, 실제 이미지에 대한 텍스트 기반 이미지 편집을 시연함으로써 우리의 방법이 편집 가능성을 유지한다는 것을 확인합니다.

English

Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.