FaceChain-SuDe: Het bouwen van een afgeleide klasse om categorie-attributen te erven voor one-shot onderwerpgestuurde generatie

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Auteurs: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Samenvatting

Onderwerpgestuurde generatie heeft recentelijk aanzienlijke belangstelling gekregen vanwege het vermogen om tekst-naar-beeldgeneratie te personaliseren. Typische werken richten zich op het leren van de privé-attributen van het nieuwe onderwerp. Een belangrijk feit is echter niet serieus genomen, namelijk dat een onderwerp geen geïsoleerd nieuw concept is, maar een specialisatie zou moeten zijn van een bepaalde categorie in het vooraf getrainde model. Dit resulteert erin dat het onderwerp niet volledig de attributen van zijn categorie erft, wat leidt tot slechte attribuutgerelateerde generaties. In dit artikel, geïnspireerd door objectgeoriënteerd programmeren, modelleren we het onderwerp als een afgeleide klasse waarvan de basisklasse zijn semantische categorie is. Deze modellering stelt het onderwerp in staat om publieke attributen van zijn categorie te erven, terwijl het zijn privé-attributen leert van het door de gebruiker geleverde voorbeeld. Specifiek stellen we een plug-and-play methode voor, Subject-Derived regularisatie (SuDe). Het construeert de basis-afgeleide klasse modellering door de onderwerpgestuurde gegenereerde afbeeldingen te beperken tot semantisch behorend tot de categorie van het onderwerp. Uitgebreide experimenten onder drie basislijnen en twee backbones op verschillende onderwerpen tonen aan dat onze SuDe imaginatieve attribuutgerelateerde generaties mogelijk maakt terwijl de onderwerptrouw wordt behouden. De code zal binnenkort open source worden gemaakt op FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).