Aprimorando a Preservação de Detalhes para Geração Personalizada de Texto para Imagem: Uma Abordagem Livre de Regularização

Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach

May 23, 2023

Autores: Yufan Zhou, Ruiyi Zhang, Tong Sun, Jinhui Xu

cs.AI

Resumo

Modelos recentes de geração de texto para imagem demonstraram uma capacidade impressionante de gerar imagens alinhadas ao texto com alta fidelidade. No entanto, gerar imagens de conceitos novos fornecidos por uma imagem de entrada do usuário ainda é uma tarefa desafiadora. Para abordar esse problema, pesquisadores têm explorado diversos métodos para personalizar modelos pré-treinados de geração de texto para imagem. Atualmente, a maioria dos métodos existentes para personalizar esses modelos envolve o uso de técnicas de regularização para evitar sobreajuste. Embora a regularização facilite o desafio da personalização e leve à criação bem-sucedida de conteúdo com base na orientação do texto, ela pode restringir a capacidade do modelo, resultando na perda de informações detalhadas e em desempenho inferior. Neste trabalho, propomos uma nova estrutura para geração personalizada de texto para imagem sem o uso de regularização. Especificamente, nossa estrutura proposta consiste em uma rede codificadora e um novo método de amostragem que pode lidar com o problema de sobreajuste sem o uso de regularização. Com a estrutura proposta, conseguimos personalizar um modelo de geração de texto para imagem em larga escala em menos de meio minuto em uma única GPU, com apenas uma imagem fornecida pelo usuário. Demonstramos em experimentos que nossa estrutura proposta supera os métodos existentes e preserva mais detalhes refinados.

English

Recent text-to-image generation models have demonstrated impressive capability of generating text-aligned images with high fidelity. However, generating images of novel concept provided by the user input image is still a challenging task. To address this problem, researchers have been exploring various methods for customizing pre-trained text-to-image generation models. Currently, most existing methods for customizing pre-trained text-to-image generation models involve the use of regularization techniques to prevent over-fitting. While regularization will ease the challenge of customization and leads to successful content creation with respect to text guidance, it may restrict the model capability, resulting in the loss of detailed information and inferior performance. In this work, we propose a novel framework for customized text-to-image generation without the use of regularization. Specifically, our proposed framework consists of an encoder network and a novel sampling method which can tackle the over-fitting problem without the use of regularization. With the proposed framework, we are able to customize a large-scale text-to-image generation model within half a minute on single GPU, with only one image provided by the user. We demonstrate in experiments that our proposed framework outperforms existing methods, and preserves more fine-grained details.