GlyphControl: Controle Condicional de Glifos para Geração Visual de Texto

GlyphControl: Glyph Conditional Control for Visual Text Generation

May 29, 2023

Autores: Yukang Yang, Dongnan Gui, Yuhui Yuan, Haisong Ding, Han Hu, Kai Chen

cs.AI

Resumo

Recentemente, tem havido um interesse crescente no desenvolvimento de modelos generativos de texto para imagem baseados em difusão, capazes de gerar textos visuais coerentes e bem-formados. Neste artigo, propomos uma abordagem nova e eficiente chamada GlyphControl para abordar essa tarefa. Diferente dos métodos existentes que dependem de codificadores de texto conscientes de caracteres, como o ByT5, e exigem o retreinamento de modelos de texto para imagem, nossa abordagem aproveita informações condicionais adicionais de glifos para melhorar o desempenho do modelo Stable-Diffusion pronto para uso na geração de textos visuais precisos. Ao incorporar instruções de glifos, os usuários podem personalizar o conteúdo, a localização e o tamanho do texto gerado de acordo com suas necessidades específicas. Para facilitar pesquisas futuras na geração de textos visuais, construímos um conjunto de dados de referência para treinamento chamado LAION-Glyph. Avaliamos a eficácia de nossa abordagem medindo métricas baseadas em OCR e pontuações CLIP dos textos visuais gerados. Nossas avaliações empíricas demonstram que o GlyphControl supera a recente abordagem DeepFloyd IF em termos de precisão OCR e pontuações CLIP, destacando a eficácia de nosso método.

English

Recently, there has been a growing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics and CLIP scores of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy and CLIP scores, highlighting the efficacy of our method.