FaceChain-SuDe: Создание производного класса для наследования атрибутов категории для генерации по запросу, инициированной субъектом.

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Авторы: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Аннотация

Генерация, основанная на субъекте, недавно привлекла значительный интерес благодаря способности персонализировать генерацию текста в изображение. Типичные работы сосредотачиваются на изучении частных атрибутов нового субъекта. Однако важный факт не был серьезно учтен: субъект не является изолированным новым концептом, а должен быть специализацией определенной категории в предварительно обученной модели. Это приводит к тому, что субъект не в полной мере наследует атрибуты в своей категории, что приводит к плохим генерациям, связанным с атрибутами. В данной статье, вдохновленные объектно-ориентированным программированием, мы моделируем субъект как производный класс, чей базовый класс - это его семантическая категория. Это моделирование позволяет субъекту наследовать общедоступные атрибуты из своей категории, одновременно изучая свои частные атрибуты на примере, предоставленном пользователем. Конкретно, мы предлагаем метод "подключи и играй", регуляризацию, основанную на субъекте (SuDe). Он создает моделирование базового производного класса, ограничивая сгенерированные изображения, основанные на субъекте, семантически принадлежать категории субъекта. Обширные эксперименты на трех базовых уровнях и двух основах на различных субъектах показывают, что наш SuDe позволяет создавать воображаемые генерации, связанные с атрибутами, сохраняя при этом верность субъекта. Коды будут скоро опубликованы на FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).