Адаптер лица для предварительно обученных моделей диффузии с тонким управлением идентификаторами и атрибутами.

Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

May 21, 2024

Авторы: Yue Han, Junwei Zhu, Keke He, Xu Chen, Yanhao Ge, Wei Li, Xiangtai Li, Jiangning Zhang, Chengjie Wang, Yong Liu

cs.AI

Аннотация

Существующие методы реанимации и обмена лицами в основном опираются на фреймворки GAN, однако последнее внимание сосредоточено на предварительно обученных моделях диффузии из-за их превосходных возможностей генерации. Однако обучение этих моделей требует больших ресурсов, и результаты пока не достигли удовлетворительного уровня производительности. Для решения этой проблемы мы представляем Face-Adapter, эффективный и эффективный адаптер, разработанный для высокоточного и высококачественного редактирования лиц с использованием предварительно обученных моделей диффузии. Мы замечаем, что задачи реанимации и обмена лицами в основном включают в себя комбинации целевой структуры, идентификатора и атрибута. Мы стремимся достаточно разделить управление этими факторами для достижения обеих задач в одной модели. Конкретно, наш метод включает: 1) Генератор пространственных условий, который обеспечивает точные ориентиры и фон; 2) Кодировщик идентичности Plug-and-play, который передает вложения лица в текстовое пространство с помощью декодера трансформера; 3) Контроллер атрибутов, который интегрирует пространственные условия и детальные атрибуты. Face-Adapter достигает сравнимой или даже превосходной производительности в плане точности управления движением, сохранения идентификатора и качества генерации по сравнению с полностью донастроенными моделями реанимации и обмена лицами. Кроме того, Face-Adapter легко интегрируется с различными моделями StableDiffusion.

English

Current face reenactment and swapping methods mainly rely on GAN frameworks, but recent focus has shifted to pre-trained diffusion models for their superior generation capabilities. However, training these models is resource-intensive, and the results have not yet achieved satisfactory performance levels. To address this issue, we introduce Face-Adapter, an efficient and effective adapter designed for high-precision and high-fidelity face editing for pre-trained diffusion models. We observe that both face reenactment/swapping tasks essentially involve combinations of target structure, ID and attribute. We aim to sufficiently decouple the control of these factors to achieve both tasks in one model. Specifically, our method contains: 1) A Spatial Condition Generator that provides precise landmarks and background; 2) A Plug-and-play Identity Encoder that transfers face embeddings to the text space by a transformer decoder. 3) An Attribute Controller that integrates spatial conditions and detailed attributes. Face-Adapter achieves comparable or even superior performance in terms of motion control precision, ID retention capability, and generation quality compared to fully fine-tuned face reenactment/swapping models. Additionally, Face-Adapter seamlessly integrates with various StableDiffusion models.