RealCustom: Aperfeiçoando Palavras de Texto Real para Personalização de Texto para Imagem em Domínio Aberto em Tempo Real

RealCustom: Narrowing Real Text Word for Real-Time Open-Domain Text-to-Image Customization

March 1, 2024

Autores: Mengqi Huang, Zhendong Mao, Mingcong Liu, Qian He, Yongdong Zhang

cs.AI

Resumo

A personalização de texto para imagem, que visa sintetizar imagens orientadas por texto para os sujeitos dados, revolucionou recentemente a criação de conteúdo. Os trabalhos existentes seguem o paradigma de pseudo-palavras, ou seja, representam os sujeitos dados como pseudo-palavras e depois as compõem com o texto fornecido. No entanto, o escopo de influência inerentemente entrelaçado das pseudo-palavras com o texto fornecido resulta em um paradoxo de duplo ótimo, ou seja, a similaridade dos sujeitos dados e a controlabilidade do texto fornecido não podem ser ótimas simultaneamente. Apresentamos o RealCustom que, pela primeira vez, desacopla a similaridade da controlabilidade ao limitar precisamente a influência do sujeito apenas às partes relevantes, alcançado ao gradualmente estreitar a palavra de texto real de sua conotação geral para o sujeito específico e usar sua atenção cruzada para distinguir relevância. Especificamente, o RealCustom introduz uma nova estrutura "treino-inferência" desacoplada: (1) durante o treinamento, o RealCustom aprende o alinhamento geral entre condições visuais e condições textuais originais por meio de um novo módulo de pontuação adaptativa para modular adaptativamente a quantidade de influência; (2) durante a inferência, uma nova estratégia de orientação por máscara adaptativa é proposta para atualizar iterativamente o escopo de influência e a quantidade de influência dos sujeitos dados para gradualmente estreitar a geração da palavra de texto real. Experimentos abrangentes demonstram a superior capacidade de personalização em tempo real do RealCustom no domínio aberto, alcançando tanto uma similaridade sem precedentes dos sujeitos dados quanto a controlabilidade do texto fornecido pela primeira vez. A página do projeto é https://corleone-huang.github.io/realcustom/.

English

Text-to-image customization, which aims to synthesize text-driven images for the given subjects, has recently revolutionized content creation. Existing works follow the pseudo-word paradigm, i.e., represent the given subjects as pseudo-words and then compose them with the given text. However, the inherent entangled influence scope of pseudo-words with the given text results in a dual-optimum paradox, i.e., the similarity of the given subjects and the controllability of the given text could not be optimal simultaneously. We present RealCustom that, for the first time, disentangles similarity from controllability by precisely limiting subject influence to relevant parts only, achieved by gradually narrowing real text word from its general connotation to the specific subject and using its cross-attention to distinguish relevance. Specifically, RealCustom introduces a novel "train-inference" decoupled framework: (1) during training, RealCustom learns general alignment between visual conditions to original textual conditions by a novel adaptive scoring module to adaptively modulate influence quantity; (2) during inference, a novel adaptive mask guidance strategy is proposed to iteratively update the influence scope and influence quantity of the given subjects to gradually narrow the generation of the real text word. Comprehensive experiments demonstrate the superior real-time customization ability of RealCustom in the open domain, achieving both unprecedented similarity of the given subjects and controllability of the given text for the first time. The project page is https://corleone-huang.github.io/realcustom/.