FaceChain-SuDe: Construindo Classe Derivada para Herdar Atributos de Categoria para Geração Orientada a Assunto com Aprendizado de Um Único Exemplo

FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

March 11, 2024

Autores: Pengchong Qiao, Lei Shang, Chang Liu, Baigui Sun, Xiangyang Ji, Jie Chen

cs.AI

Resumo

A geração orientada por assunto tem despertado grande interesse recentemente devido à sua capacidade de personalizar a geração de texto para imagem. Trabalhos típicos concentram-se em aprender os atributos privados do novo assunto. No entanto, um fato importante não tem sido levado a sério: um assunto não é um conceito novo isolado, mas sim uma especialização de uma determinada categoria no modelo pré-treinado. Isso resulta no fato de o assunto não herdar de forma abrangente os atributos de sua categoria, causando gerações deficientes relacionadas a atributos. Neste artigo, motivados pela programação orientada a objetos, modelamos o assunto como uma classe derivada cuja classe base é sua categoria semântica. Essa modelagem permite que o assunto herde atributos públicos de sua categoria enquanto aprende seus atributos privados a partir do exemplo fornecido pelo usuário. Especificamente, propomos um método plug-and-play, a regularização Subject-Derived (SuDe). Ela constrói a modelagem de classe base-derivada ao restringir que as imagens geradas orientadas por assunto pertençam semanticamente à categoria do assunto. Experimentos extensivos sob três linhas de base e dois backbones em vários assuntos mostram que nosso SuDe permite gerações imaginativas relacionadas a atributos enquanto mantém a fidelidade do assunto. Os códigos serão disponibilizados em breve no FaceChain (https://github.com/modelscope/facechain).

English

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).