詳細にこそ本質あり：StyleFeatureEditorによる詳細豊かなStyleGANの反転と高品質画像編集

The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing

June 15, 2024

著者: Denis Bobkov, Vadim Titov, Aibek Alanov, Dmitry Vetrov

cs.AI

要旨

StyleGANインバージョンを通じて実画像の属性を操作するタスクは、広く研究されてきました。このプロセスは、実画像を合成できるように訓練されたStyleGANジェネレータから潜在変数を探索し、これらの潜在変数を修正し、その後、望ましい編集を施した画像を合成することを含みます。再構築の品質と編集能力の間にはバランスを取る必要があります。初期の研究では、効果的な編集を可能にするが複雑なディテールの再構築に苦労する低次元のW空間を潜在探索に利用していました。より最近の研究では、入力画像のインバージョンには成功するが編集時に多くのディテールを失う高次元の特徴空間Fに注目しています。本論文では、w-latentsとF-latentsの両方で編集を可能にする新しい手法であるStyleFeatureEditorを紹介します。この技術は、より細かい画像ディテールの再構築を可能にするだけでなく、編集時にそれらを保持することも保証します。また、F-latentsを正確に編集するためにモデルを訓練するために特別に設計された新しいトレーニングパイプラインも提示します。私たちの手法は、最先端のエンコーディングアプローチと比較され、再構築品質の点で優れており、難しいドメイン外の例も編集できることが示されています。コードはhttps://github.com/AIRI-Institute/StyleFeatureEditorで公開されています。

English

The task of manipulating real image attributes through StyleGAN inversion has been extensively researched. This process involves searching latent variables from a well-trained StyleGAN generator that can synthesize a real image, modifying these latent variables, and then synthesizing an image with the desired edits. A balance must be struck between the quality of the reconstruction and the ability to edit. Earlier studies utilized the low-dimensional W-space for latent search, which facilitated effective editing but struggled with reconstructing intricate details. More recent research has turned to the high-dimensional feature space F, which successfully inverses the input image but loses much of the detail during editing. In this paper, we introduce StyleFeatureEditor -- a novel method that enables editing in both w-latents and F-latents. This technique not only allows for the reconstruction of finer image details but also ensures their preservation during editing. We also present a new training pipeline specifically designed to train our model to accurately edit F-latents. Our method is compared with state-of-the-art encoding approaches, demonstrating that our model excels in terms of reconstruction quality and is capable of editing even challenging out-of-domain examples. Code is available at https://github.com/AIRI-Institute/StyleFeatureEditor.