AI研究論文デイリー

現在の顔リエンクトメントおよびスワッピング手法は主にGANフレームワークに依存しているが、最近では優れた生成能力を持つ事前学習済み拡散モデルへの関心が高まっている。しかし、これらのモデルの学習には多大なリソースが必要であり、結果もまだ満足のいく性能レベルに達していない。この問題を解決するため、我々は事前学習済み拡散モデルのための高精度かつ高忠実度な顔編集を実現する効率的で効果的なアダプタであるFace-Adapterを提案する。顔リエンクトメントとスワッピングの両タスクは、本質的に対象の構造、ID、属性の組み合わせを含むことに着目した。我々はこれらの要素の制御を十分に分離し、一つのモデルで両タスクを達成することを目指す。具体的には、以下の要素を含む：1）正確なランドマークと背景を提供する空間条件生成器、2）トランスフォーマーデコーダにより顔埋め込みをテキスト空間に変換するプラグアンドプレイ型IDエンコーダ、3）空間条件と詳細な属性を統合する属性コントローラ。Face-Adapterは、フルファインチューニングされた顔リエンクトメント/スワッピングモデルと比較して、動作制御精度、ID保持能力、生成品質において同等あるいは優れた性能を達成する。さらに、Face-Adapterは様々なStableDiffusionモデルとシームレスに統合可能である。

我々は、テキストから画像への拡散モデルを用いた効率的な概念駆動生成のため、パーソナライズド残差と局所化注意誘導サンプリングを提案する。本手法ではまず、事前学習済みのテキスト条件付き拡散モデルの重みを固定し、モデル層の一部サブセットに対して低ランク残差を学習することで概念を表現する。この残差ベースのアプローチは、提案するサンプリング手法の直接的な適用を可能にする。すなわち、学習済み残差をクロスアテンションにより概念が局在化する領域にのみ適用し、その他の領域では元の拡散モデルの重みを適用する。局所化サンプリングにより、学習された概念の同一性と基盤となる拡散モデルの既存の生成的事前分布を組み合わせることができる。パーソナライズド残差は、正則化画像を使用せず、従来モデルよりも少ないパラメータ数で、単一GPU上で約3分間で概念の同一性を効果的に捕捉し、局所化サンプリングにより画像の大部分に対して元のモデルを強力な事前分布として利用できることを示す。