FaceChain-SuDe: Construcción de una clase derivada para heredar atributos de categoría en la generación impulsada por sujetos con un solo ejemplo

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Autores: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Resumen

La generación basada en sujetos ha captado un interés significativo recientemente debido a su capacidad para personalizar la generación de texto a imagen. Los trabajos típicos se centran en aprender los atributos privados del nuevo sujeto. Sin embargo, un hecho importante no se ha tomado en serio: un sujeto no es un concepto nuevo aislado, sino que debería ser una especialización de una categoría específica en el modelo preentrenado. Esto resulta en que el sujeto no herede de manera integral los atributos de su categoría, causando generaciones deficientes relacionadas con los atributos. En este artículo, inspirados por la programación orientada a objetos, modelamos el sujeto como una clase derivada cuya clase base es su categoría semántica. Este modelado permite que el sujeto herede atributos públicos de su categoría mientras aprende sus atributos privados a partir del ejemplo proporcionado por el usuario. Específicamente, proponemos un método plug-and-play, la regularización Subject-Derived (SuDe). Este método construye el modelado de clase base-derivada al restringir que las imágenes generadas basadas en el sujeto pertenezcan semánticamente a la categoría del sujeto. Experimentos extensos bajo tres líneas base y dos arquitecturas en diversos sujetos muestran que nuestro SuDe permite generaciones imaginativas relacionadas con los atributos mientras mantiene la fidelidad del sujeto. Los códigos se publicarán pronto en FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).