FaceChain-SuDe: Costruzione di una Classe Derivata per Ereditare Attributi di Categoria nella Generazione Guidata da Soggetto One-shot

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Autori: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Abstract

La generazione guidata da soggetti ha recentemente attirato un notevole interesse grazie alla sua capacità di personalizzare la generazione di immagini da testo. I lavori tipici si concentrano sull'apprendimento degli attributi privati del nuovo soggetto. Tuttavia, un fatto importante non è stato preso seriamente in considerazione: un soggetto non è un concetto nuovo isolato, ma dovrebbe essere una specializzazione di una determinata categoria nel modello pre-addestrato. Ciò fa sì che il soggetto non erediti in modo completo gli attributi della sua categoria, causando una scarsa generazione di attributi correlati. In questo articolo, ispirati dalla programmazione orientata agli oggetti, modelliamo il soggetto come una classe derivata la cui classe base è la sua categoria semantica. Questa modellazione consente al soggetto di ereditare attributi pubblici dalla sua categoria mentre apprende i suoi attributi privati dall'esempio fornito dall'utente. Nello specifico, proponiamo un metodo plug-and-play, la regolarizzazione Subject-Derived (SuDe). Essa costruisce la modellazione della classe base-derivata vincolando le immagini generate guidate dal soggetto ad appartenere semanticamente alla categoria del soggetto. Esperimenti estesi su tre baseline e due architetture su vari soggetti dimostrano che il nostro SuDe consente generazioni immaginative di attributi correlati mantenendo la fedeltà al soggetto. I codici saranno presto resi open source su FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).