FaceChain-SuDe: Aufbau einer abgeleiteten Klasse zur Vererbung von Kategorieattributen für die einmalige, subjektgesteuerte Generierung.

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Autoren: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Zusammenfassung

Die subjektgesteuerte Generierung hat in letzter Zeit erhebliches Interesse geweckt, da sie die Personalisierung der Text-zu-Bild-Generierung ermöglicht. Typische Arbeiten konzentrieren sich darauf, die privaten Attribute des neuen Subjekts zu erlernen. Allerdings wurde eine wichtige Tatsache nicht ernsthaft berücksichtigt, dass ein Subjekt kein isoliertes neues Konzept ist, sondern eine Spezialisierung einer bestimmten Kategorie im vortrainierten Modell sein sollte. Dies führt dazu, dass das Subjekt nicht umfassend die Attribute in seiner Kategorie erbt, was zu schlechten attributbezogenen Generationen führt. In diesem Papier, inspiriert von objektorientierter Programmierung, modellieren wir das Subjekt als abgeleitete Klasse, deren Basisklasse ihre semantische Kategorie ist. Dieses Modellieren ermöglicht es dem Subjekt, öffentliche Attribute aus seiner Kategorie zu erben, während es seine privaten Attribute aus dem vom Benutzer bereitgestellten Beispiel lernt. Speziell schlagen wir eine Plug-and-Play-Methode, die Subjekt-abgeleitete Regularisierung (SuDe), vor. Sie konstruiert das Basisklassen-abgeleitete Klassenmodell, indem sie die subjektgesteuert generierten Bilder semantisch der Kategorie des Subjekts zuordnet. Umfangreiche Experimente unter drei Baselines und zwei Backbones zu verschiedenen Subjekten zeigen, dass unser SuDe imaginative attributbezogene Generationen ermöglicht, während die Subjekttreue erhalten bleibt. Der Code wird bald bei FaceChain (https://github.com/modelscope/facechain) veröffentlicht.

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).