FaceChain-SuDe : Construction d'une classe dérivée pour hériter des attributs de catégorie dans le cadre de la génération pilotée par sujet en one-shot

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Auteurs: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Résumé

La génération pilotée par sujet a suscité un intérêt considérable récemment en raison de sa capacité à personnaliser la génération d'images à partir de texte. Les travaux typiques se concentrent sur l'apprentissage des attributs spécifiques du nouveau sujet. Cependant, un fait important n'a pas été pris au sérieux : un sujet n'est pas un concept nouveau isolé, mais devrait être une spécialisation d'une certaine catégorie dans le modèle pré-entraîné. Cela entraîne l'incapacité du sujet à hériter de manière exhaustive des attributs de sa catégorie, ce qui provoque des générations médiocres liées aux attributs. Dans cet article, inspirés par la programmation orientée objet, nous modélisons le sujet comme une classe dérivée dont la classe de base est sa catégorie sémantique. Cette modélisation permet au sujet d'hériter des attributs publics de sa catégorie tout en apprenant ses attributs spécifiques à partir de l'exemple fourni par l'utilisateur. Plus précisément, nous proposons une méthode plug-and-play, la régularisation SuDe (Subject-Derived). Elle construit la modélisation de classe de base-dérivée en contraignant les images générées pilotées par sujet à appartenir sémantiquement à la catégorie du sujet. Des expériences approfondies sur trois bases de référence et deux architectures pour divers sujets montrent que notre SuDe permet des générations imaginatives liées aux attributs tout en maintenant la fidélité au sujet. Les codes seront bientôt open source sur FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).