FlashFace: персонализация изображения человека с высокой степенью сохранения идентичности.

FlashFace: Human Image Personalization with High-fidelity Identity Preservation

March 25, 2024

Авторы: Shilong Zhang, Lianghua Huang, Xi Chen, Yifei Zhang, Zhi-Fan Wu, Yutong Feng, Wei Wang, Yujun Shen, Yu Liu, Ping Luo

cs.AI

Аннотация

Эта работа представляет FlashFace, практичный инструмент, с помощью которого пользователи могут легко на лету персонализировать свои собственные фотографии, предоставляя одно или несколько опорных изображений лица и текстовую подсказку. Наш подход отличается от существующих методов настройки фотографий людей более высоким сохранением идентичности и лучшим следованием инструкциям благодаря двум тонким конструкциям. Во-первых, мы кодируем идентичность лица в серию карт признаков, а не в один изображение-токен, как в предыдущих работах, что позволяет модели сохранить больше деталей опорных лиц (например, шрамы, татуировки и форму лица). Во-вторых, мы вводим стратегию дезинтеграции для балансировки текстового и изображенческого руководства в процессе генерации изображения по тексту, смягчая конфликт между опорными лицами и текстовыми подсказками (например, персонализация взрослого в "ребенка" или "пожилого человека"). Обширные экспериментальные результаты демонстрируют эффективность нашего метода в различных приложениях, включая персонализацию изображений людей, обмен лицами по языковым подсказкам, превращение виртуальных персонажей в реальных людей и т. д. Страница проекта: https://jshilong.github.io/flashface-page.

English

This work presents FlashFace, a practical tool with which users can easily personalize their own photos on the fly by providing one or a few reference face images and a text prompt. Our approach is distinguishable from existing human photo customization methods by higher-fidelity identity preservation and better instruction following, benefiting from two subtle designs. First, we encode the face identity into a series of feature maps instead of one image token as in prior arts, allowing the model to retain more details of the reference faces (e.g., scars, tattoos, and face shape ). Second, we introduce a disentangled integration strategy to balance the text and image guidance during the text-to-image generation process, alleviating the conflict between the reference faces and the text prompts (e.g., personalizing an adult into a "child" or an "elder"). Extensive experimental results demonstrate the effectiveness of our method on various applications, including human image personalization, face swapping under language prompts, making virtual characters into real people, etc. Project Page: https://jshilong.github.io/flashface-page.