Face Adapter voor Vooraf Getrainde Diffusiemodellen met Fijnmazige ID- en Attribuutcontrole

Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

May 21, 2024

Auteurs: Yue Han, Junwei Zhu, Keke He, Xu Chen, Yanhao Ge, Wei Li, Xiangtai Li, Jiangning Zhang, Chengjie Wang, Yong Liu

cs.AI

Samenvatting

Huidige methoden voor gezichtsheruitvoering en -verwisseling zijn voornamelijk gebaseerd op GAN-frameworks, maar recentelijk is de aandacht verschoven naar vooraf getrainde diffusiemodellen vanwege hun superieure generatiecapaciteiten. Het trainen van deze modellen is echter resource-intensief, en de resultaten hebben nog geen bevredigende prestatieniveaus bereikt. Om dit probleem aan te pakken, introduceren we Face-Adapter, een efficiënte en effectieve adapter ontworpen voor hoogwaardige en hoogfideliteitsbewerkingen van gezichten in vooraf getrainde diffusiemodellen. We observeren dat zowel gezichtsheruitvoering- als verwisselingstaken in essentie combinaties zijn van doelstructuur, ID en attributen. Ons doel is om de controle over deze factoren voldoende te ontkoppelen om beide taken in één model te realiseren. Specifiek bevat onze methode: 1) Een Spatial Condition Generator die precieze landmarks en achtergrond levert; 2) Een Plug-and-play Identity Encoder die gezichtsembeddingen naar de tekstruimte overbrengt via een transformatordecoder. 3) Een Attribute Controller die ruimtelijke condities en gedetailleerde attributen integreert. Face-Adapter bereikt vergelijkbare of zelfs superieure prestaties op het gebied van bewegingscontroleprecisie, ID-retentievermogen en generatiekwaliteit in vergelijking met volledig gefinetunde modellen voor gezichtsheruitvoering/verwisseling. Daarnaast integreert Face-Adapter naadloos met verschillende StableDiffusion-modellen.

English

Current face reenactment and swapping methods mainly rely on GAN frameworks, but recent focus has shifted to pre-trained diffusion models for their superior generation capabilities. However, training these models is resource-intensive, and the results have not yet achieved satisfactory performance levels. To address this issue, we introduce Face-Adapter, an efficient and effective adapter designed for high-precision and high-fidelity face editing for pre-trained diffusion models. We observe that both face reenactment/swapping tasks essentially involve combinations of target structure, ID and attribute. We aim to sufficiently decouple the control of these factors to achieve both tasks in one model. Specifically, our method contains: 1) A Spatial Condition Generator that provides precise landmarks and background; 2) A Plug-and-play Identity Encoder that transfers face embeddings to the text space by a transformer decoder. 3) An Attribute Controller that integrates spatial conditions and detailed attributes. Face-Adapter achieves comparable or even superior performance in terms of motion control precision, ID retention capability, and generation quality compared to fully fine-tuned face reenactment/swapping models. Additionally, Face-Adapter seamlessly integrates with various StableDiffusion models.