FaceChain-SuDe: 원샷 주체 기반 생성을 위한 카테고리 속성 상속을 위한 파생 클래스 구축

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

저자: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

초록

주제 기반 생성은 텍스트-이미지 생성의 개인화 능력으로 인해 최근 상당한 관심을 받고 있습니다. 일반적인 연구들은 새로운 주제의 고유 속성을 학습하는 데 초점을 맞추고 있습니다. 그러나 중요한 사실은 주제가 고립된 새로운 개념이 아니라 사전 훈련된 모델의 특정 범주에 대한 특수화여야 한다는 점이 제대로 고려되지 않았다는 것입니다. 이로 인해 주제가 해당 범주의 속성을 포괄적으로 상속하지 못해 속성 관련 생성이 제대로 이루어지지 않는 문제가 발생합니다. 본 논문에서는 객체 지향 프로그래밍에서 영감을 받아 주제를 해당 의미 범주를 기반 클래스로 하는 파생 클래스로 모델링합니다. 이러한 모델링을 통해 주제는 사용자가 제공한 예시로부터 고유 속성을 학습하면서도 범주로부터 공개 속성을 상속받을 수 있습니다. 구체적으로, 우리는 플러그 앤 플레이 방식인 Subject-Derived 정규화(SuDe)를 제안합니다. SuDe는 주제 기반 생성 이미지가 주제의 범주에 의미적으로 속하도록 제약함으로써 기반-파생 클래스 모델링을 구성합니다. 세 가지 베이스라인과 두 가지 백본을 사용한 다양한 주제에 대한 광범위한 실험 결과, 우리의 SuDe가 주제 충실도를 유지하면서도 창의적인 속성 관련 생성을 가능하게 함을 보여줍니다. 코드는 FaceChain(https://github.com/modelscope/facechain)에서 곧 공개될 예정입니다.

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).