事前学習済み拡散モデルのための顔アダプタ：細粒度IDと属性制御による

Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

May 21, 2024

著者: Yue Han, Junwei Zhu, Keke He, Xu Chen, Yanhao Ge, Wei Li, Xiangtai Li, Jiangning Zhang, Chengjie Wang, Yong Liu

cs.AI

要旨

現在の顔リエンクトメントおよびスワッピング手法は主にGANフレームワークに依存しているが、最近では優れた生成能力を持つ事前学習済み拡散モデルへの関心が高まっている。しかし、これらのモデルの学習には多大なリソースが必要であり、結果もまだ満足のいく性能レベルに達していない。この問題を解決するため、我々は事前学習済み拡散モデルのための高精度かつ高忠実度な顔編集を実現する効率的で効果的なアダプタであるFace-Adapterを提案する。顔リエンクトメントとスワッピングの両タスクは、本質的に対象の構造、ID、属性の組み合わせを含むことに着目した。我々はこれらの要素の制御を十分に分離し、一つのモデルで両タスクを達成することを目指す。具体的には、以下の要素を含む：1）正確なランドマークと背景を提供する空間条件生成器、2）トランスフォーマーデコーダにより顔埋め込みをテキスト空間に変換するプラグアンドプレイ型IDエンコーダ、3）空間条件と詳細な属性を統合する属性コントローラ。Face-Adapterは、フルファインチューニングされた顔リエンクトメント/スワッピングモデルと比較して、動作制御精度、ID保持能力、生成品質において同等あるいは優れた性能を達成する。さらに、Face-Adapterは様々なStableDiffusionモデルとシームレスに統合可能である。

English

Current face reenactment and swapping methods mainly rely on GAN frameworks, but recent focus has shifted to pre-trained diffusion models for their superior generation capabilities. However, training these models is resource-intensive, and the results have not yet achieved satisfactory performance levels. To address this issue, we introduce Face-Adapter, an efficient and effective adapter designed for high-precision and high-fidelity face editing for pre-trained diffusion models. We observe that both face reenactment/swapping tasks essentially involve combinations of target structure, ID and attribute. We aim to sufficiently decouple the control of these factors to achieve both tasks in one model. Specifically, our method contains: 1) A Spatial Condition Generator that provides precise landmarks and background; 2) A Plug-and-play Identity Encoder that transfers face embeddings to the text space by a transformer decoder. 3) An Attribute Controller that integrates spatial conditions and detailed attributes. Face-Adapter achieves comparable or even superior performance in terms of motion control precision, ID retention capability, and generation quality compared to fully fine-tuned face reenactment/swapping models. Additionally, Face-Adapter seamlessly integrates with various StableDiffusion models.