TurboEdit: テキストベースの即時画像編集

TurboEdit: Instant text-based image editing

August 14, 2024

著者: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman

cs.AI

要旨

我々は、少ステップ拡散モデルにおける精密な画像反転と分離可能な画像編集の課題に取り組む。エンコーダベースの反復的反転技術を導入する。この反転ネットワークは、入力画像と前ステップからの再構成画像を条件付けし、次の再構成を入力画像に向けて修正することを可能にする。少ステップ拡散モデルにおいて、分離可能な制御が（自動生成された）詳細なテキストプロンプトを条件付けることで容易に達成できることを示す。反転画像を操作するために、ノイズマップを固定し、テキストプロンプト内の1つの属性を変更（手動またはLLMによる指示ベースの編集を介して）することで、入力画像に類似した新しい画像を生成し、1つの属性のみを変更する。さらに、編集強度を制御し、指示的なテキストプロンプトを受け入れることができる。我々のアプローチは、リアルタイムでの現実的なテキストガイド画像編集を可能にし、反転（1回限りのコスト）に8回の機能評価（NFE）、編集ごとに4回のNFEを必要とする。我々の手法は高速であるだけでなく、最先端の多ステップ拡散編集技術を大幅に上回る性能を示す。

English

We address the challenges of precise image inversion and disentangled image editing in the context of few-step diffusion models. We introduce an encoder based iterative inversion technique. The inversion network is conditioned on the input image and the reconstructed image from the previous step, allowing for correction of the next reconstruction towards the input image. We demonstrate that disentangled controls can be easily achieved in the few-step diffusion model by conditioning on an (automatically generated) detailed text prompt. To manipulate the inverted image, we freeze the noise maps and modify one attribute in the text prompt (either manually or via instruction based editing driven by an LLM), resulting in the generation of a new image similar to the input image with only one attribute changed. It can further control the editing strength and accept instructive text prompt. Our approach facilitates realistic text-guided image edits in real-time, requiring only 8 number of functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit. Our method is not only fast, but also significantly outperforms state-of-the-art multi-step diffusion editing techniques.