MagicFace: Hochwertige Bearbeitung von Gesichtsausdrücken mit Action-Unit-Steuerung

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

Autoren: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

Zusammenfassung

Wir behandeln das Problem der Bearbeitung von Gesichtsausdrücken, indem wir die relative Variation der Gesichtsaktions-Einheiten (AU) derselben Person kontrollieren. Dies ermöglicht es uns, den Ausdruck dieser spezifischen Person auf fein abgestimmte, kontinuierliche und interpretierbare Weise zu bearbeiten, während wir ihre Identität, Pose, Hintergrund und detaillierte Gesichtsmerkmale bewahren. Schlüssel zu unserem Modell, das wir MagicFace nennen, ist ein Diffusionsmodell, das von AU-Variationen abhängt, und ein ID-Encoder, um Gesichtsdetails von hoher Konsistenz zu bewahren. Speziell, um die Gesichtsdetails mit der Eingabeidentität zu bewahren, nutzen wir die Leistung vortrainierter Stable-Diffusion-Modelle und entwerfen einen ID-Encoder, um Erscheinungsmerkmale durch Self-Attention zu verschmelzen. Um Hintergrund- und Pose-Konsistenz zu bewahren, führen wir einen effizienten Attribut-Controller ein, indem wir dem Modell explizit den aktuellen Hintergrund und die Pose des Ziels mitteilen. Durch das Einspeisen von AU-Variationen in ein Rauschunterdrückungs-UNet kann unser Modell beliebige Identitäten mit verschiedenen AU-Kombinationen animieren und liefert im Vergleich zu anderen Arbeiten zur Bearbeitung von Gesichtsausdrücken überlegene Ergebnisse in der hochwertigen Ausdrucksbearbeitung. Der Code ist öffentlich verfügbar unter https://github.com/weimengting/MagicFace.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.