ReNoise: 反復的ノイズ付加による実画像の反転

ReNoise: Real Image Inversion Through Iterative Noising

March 21, 2024

著者: Daniel Garibi, Or Patashnik, Andrey Voynov, Hadar Averbuch-Elor, Daniel Cohen-Or

cs.AI

要旨

テキスト誘導型拡散モデルの最近の進展により、強力な画像操作能力が実現されています。しかし、これらの手法を実画像に適用するためには、事前学習された拡散モデルの領域に画像を逆変換する必要があります。特に、少ないノイズ除去ステップで画像を生成するように訓練された最新のモデルにおいて、忠実な逆変換を達成することは依然として課題です。本研究では、操作数を増やすことなく再構成精度を向上させる、高品質対操作比を備えた逆変換手法を提案します。拡散サンプリングプロセスを逆転させることに基づき、本手法は各逆変換サンプリングステップにおいて反復的リノイズ機構を採用します。この機構は、事前学習された拡散モデルを反復的に適用し、これらの予測を平均化することにより、順拡散軌道に沿った予測点の近似を精緻化します。我々は、ReNoise技術の性能を、最近の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて評価します。包括的な評価と比較を通じて、その精度と速度の両面における有効性を示します。さらに、実画像に対するテキスト駆動型画像編集を実証することで、本手法が編集可能性を保持することを確認します。

English

Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.