FaceChain-SuDe: ワンショット被写体駆動生成のためのカテゴリ属性継承派生クラスの構築

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

著者: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

要旨

主題駆動生成は、テキストから画像への生成をパーソナライズする能力により、最近大きな注目を集めています。従来の研究は、新しい主題の個別の属性を学習することに焦点を当ててきました。しかし、重要な事実として、主題は孤立した新しい概念ではなく、事前学習済みモデル内の特定のカテゴリの特殊化であるべきだという点が十分に重視されていませんでした。これにより、主題がそのカテゴリの属性を包括的に継承できず、属性関連の生成が不十分になるという問題が生じています。本論文では、オブジェクト指向プログラミングに着想を得て、主題をその意味的カテゴリを基底クラスとする派生クラスとしてモデル化します。このモデル化により、主題はカテゴリから公開属性を継承しつつ、ユーザー提供の例から個別の属性を学習することが可能になります。具体的には、プラグアンドプレイ方式の手法であるSubject-Derived regularization (SuDe)を提案します。SuDeは、主題駆動生成された画像が意味的に主題のカテゴリに属するように制約することで、基底-派生クラスのモデル化を構築します。3つのベースラインと2つのバックボーンを用いた様々な主題に対する広範な実験により、SuDeが主題の忠実性を維持しつつ、想像力豊かな属性関連の生成を可能にすることが示されました。コードはまもなくFaceChain (https://github.com/modelscope/facechain)でオープンソース化される予定です。

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).