MagicFace: Hoogwaardige bewerking van gezichtsuitdrukkingen met controle over actie-eenheden

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

Auteurs: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

Samenvatting

We pakken het probleem van het bewerken van gezichtsuitdrukkingen aan door de relatieve variatie van gezichtsactie-eenheden (AU) van dezelfde persoon te controleren. Dit stelt ons in staat om de expressie van deze specifieke persoon op een verfijnde, continue en interpreteerbare manier te bewerken, terwijl we hun identiteit, houding, achtergrond en gedetailleerde gezichtskenmerken behouden. Kern van ons model, dat we MagicFace noemen, is een diffusiemodel geconditioneerd op AU-variabelen en een ID-encoder om gezichtsdetails met een hoge consistentie te behouden. Specifiek, om de gezichtsdetails met de invoeridentiteit te behouden, benutten we de kracht van vooraf getrainde Stable-Diffusion modellen en ontwerpen we een ID-encoder om uiterlijke kenmerken samen te voegen via zelfaandacht. Om achtergrond- en houdingsconsistentie te behouden, introduceren we een efficiënte Attribuutcontroller door het model expliciet te informeren over de huidige achtergrond en houding van het doel. Door AU-variabelen in te voegen in een denoising UNet, kan ons model willekeurige identiteiten animeren met verschillende AU-combinaties, wat resulteert in superieure resultaten bij het bewerken van expressies met een hoge nauwkeurigheid in vergelijking met andere werken voor het bewerken van gezichtsuitdrukkingen. De code is openbaar beschikbaar op https://github.com/weimengting/MagicFace.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.