MagicFace: Высококачественное редактирование выражений лица с управлением единицами действия

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

Авторы: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

Аннотация

Мы решаем проблему редактирования выражения лица, контролируя относительное изменение единиц действия лицевых мышц (AU) у одного и того же человека. Это позволяет нам редактировать выражение этого конкретного человека тонко, непрерывно и интерпретируемо, сохраняя при этом его идентичность, позу, фон и детальные лицевые атрибуты. Ключевым элементом нашей модели, которую мы называем MagicFace, является диффузионная модель, условием которой являются изменения AU, и кодировщик ID для сохранения лицевых деталей с высокой последовательностью. Конкретно, для сохранения лицевых деталей с входной идентичностью мы используем мощь предварительно обученных моделей Stable-Diffusion и разрабатываем кодировщик ID для объединения признаков внешности через самовнимание. Для поддержания согласованности фона и позы мы вводим эффективный контролер атрибутов, явно информируя модель о текущем фоне и позе цели. Внедряя изменения AU в денойзинговую UNet, наша модель может анимировать произвольные идентичности с различными комбинациями AU, обеспечивая превосходные результаты в редактировании выражения с высокой степенью реалистичности по сравнению с другими работами по редактированию выражения лица. Код общедоступен по адресу https://github.com/weimengting/MagicFace.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.