FaceStudio: 단 몇 초 만에 당신의 얼굴을 어디든지 배치하세요

FaceStudio: Put Your Face Everywhere in Seconds

December 5, 2023

저자: Yuxuan Yan, Chi Zhang, Rui Wang, Pei Cheng, Gang Yu, Bin Fu

cs.AI

초록

본 연구는 주체의 정체성을 유지하면서 개성 있는 스타일을 더하는 이미지 생성의 흥미로운 과제인 정체성 보존 이미지 합성을 탐구합니다. Textual Inversion과 DreamBooth와 같은 전통적인 방법들은 맞춤형 이미지 생성에서 진전을 이루었지만, 상당한 단점을 가지고 있습니다. 이에는 세밀한 조정을 위한 광범위한 자원과 시간이 필요하며, 여러 참조 이미지가 요구된다는 점이 포함됩니다. 이러한 문제를 극복하기 위해, 본 연구는 특히 인간 이미지에 초점을 맞춘 정체성 보존 합성을 위한 새로운 접근 방식을 소개합니다. 우리의 모델은 직접적인 피드포워드 메커니즘을 활용하여 집중적인 세밀한 조정의 필요성을 피함으로써 빠르고 효율적인 이미지 생성을 가능하게 합니다. 우리의 혁신의 핵심은 스타일화된 이미지, 얼굴 이미지, 텍스트 프롬프트를 결합하여 이미지 생성 과정을 안내하는 하이브리드 가이던스 프레임워크입니다. 이 독특한 조합은 우리의 모델이 예술적인 초상화와 정체성 혼합 이미지와 같은 다양한 응용 프로그램을 생성할 수 있게 합니다. 질적 및 양적 평가를 포함한 실험 결과는 우리의 방법이 기존의 베이스라인 모델과 이전 연구들보다 우수함을 보여주며, 특히 놀라운 효율성과 높은 충실도로 주체의 정체성을 보존하는 능력에서 두드러집니다.

English

This study investigates identity-preserving image synthesis, an intriguing task in image generation that seeks to maintain a subject's identity while adding a personalized, stylistic touch. Traditional methods, such as Textual Inversion and DreamBooth, have made strides in custom image creation, but they come with significant drawbacks. These include the need for extensive resources and time for fine-tuning, as well as the requirement for multiple reference images. To overcome these challenges, our research introduces a novel approach to identity-preserving synthesis, with a particular focus on human images. Our model leverages a direct feed-forward mechanism, circumventing the need for intensive fine-tuning, thereby facilitating quick and efficient image generation. Central to our innovation is a hybrid guidance framework, which combines stylized images, facial images, and textual prompts to guide the image generation process. This unique combination enables our model to produce a variety of applications, such as artistic portraits and identity-blended images. Our experimental results, including both qualitative and quantitative evaluations, demonstrate the superiority of our method over existing baseline models and previous works, particularly in its remarkable efficiency and ability to preserve the subject's identity with high fidelity.