MagicFace: Edición de Expresiones Faciales de Alta Fidelidad con Control de Unidades de Acción

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

Autores: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

Resumen

Abordamos el problema de la edición de expresiones faciales controlando la variación relativa de unidades de acción facial (AU) de la misma persona. Esto nos permite editar la expresión de esta persona de manera detallada, continua e interpretable, preservando su identidad, postura, fondo y atributos faciales detallados. Clave en nuestro modelo, al que llamamos MagicFace, es un modelo de difusión condicionado a variaciones de AU y un codificador de identidad para preservar detalles faciales de alta consistencia. Específicamente, para preservar los detalles faciales con la identidad de entrada, aprovechamos el poder de los modelos preentrenados de Difusión Estable y diseñamos un codificador de identidad para fusionar características de apariencia a través de autoatención. Para mantener la consistencia de fondo y postura, introducimos un Controlador de Atributos eficiente informando explícitamente al modelo del fondo y la postura actuales del objetivo. Al inyectar variaciones de AU en un UNet de eliminación de ruido, nuestro modelo puede animar identidades arbitrarias con diversas combinaciones de AU, produciendo resultados superiores en la edición de expresiones de alta fidelidad en comparación con otros trabajos de edición de expresiones faciales. El código está disponible públicamente en https://github.com/weimengting/MagicFace.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.