FlashFace: 고정확도 신원 보존을 통한 인간 이미지 개인화

FlashFace: Human Image Personalization with High-fidelity Identity Preservation

March 25, 2024

저자: Shilong Zhang, Lianghua Huang, Xi Chen, Yifei Zhang, Zhi-Fan Wu, Yutong Feng, Wei Wang, Yujun Shen, Yu Liu, Ping Luo

cs.AI

초록

본 연구는 사용자가 하나 또는 몇 개의 참조 얼굴 이미지와 텍스트 프롬프트를 제공하여 즉석에서 자신의 사진을 쉽게 개인화할 수 있는 실용적인 도구인 FlashFace를 소개합니다. 우리의 접근 방식은 기존의 인간 사진 맞춤화 방법과 비교하여 더 높은 정확도의 신원 보존과 더 나은 지시 사항 준수를 특징으로 하며, 이는 두 가지 세심한 설계로부터 기인합니다. 첫째, 우리는 얼굴 신원을 이전 기술에서와 같이 하나의 이미지 토큰 대신 일련의 특징 맵으로 인코딩하여 모델이 참조 얼굴의 더 많은 세부 사항(예: 흉터, 문신, 얼굴 형태)을 유지할 수 있도록 합니다. 둘째, 텍스트-이미지 생성 과정에서 텍스트와 이미지 지침 간의 균형을 맞추기 위해 분리된 통합 전략을 도입함으로써 참조 얼굴과 텍스트 프롬프트 간의 충돌(예: 성인을 "어린이" 또는 "노인"으로 개인화)을 완화합니다. 다양한 실험 결과는 인간 이미지 개인화, 언어 프롬프트 하의 얼굴 교체, 가상 캐릭터를 실제 사람으로 만드는 등 다양한 응용 분야에서 우리 방법의 효과를 입증합니다. 프로젝트 페이지: https://jshilong.github.io/flashface-page.

English

This work presents FlashFace, a practical tool with which users can easily personalize their own photos on the fly by providing one or a few reference face images and a text prompt. Our approach is distinguishable from existing human photo customization methods by higher-fidelity identity preservation and better instruction following, benefiting from two subtle designs. First, we encode the face identity into a series of feature maps instead of one image token as in prior arts, allowing the model to retain more details of the reference faces (e.g., scars, tattoos, and face shape ). Second, we introduce a disentangled integration strategy to balance the text and image guidance during the text-to-image generation process, alleviating the conflict between the reference faces and the text prompts (e.g., personalizing an adult into a "child" or an "elder"). Extensive experimental results demonstrate the effectiveness of our method on various applications, including human image personalization, face swapping under language prompts, making virtual characters into real people, etc. Project Page: https://jshilong.github.io/flashface-page.