GlyphControl: Control Condicional de Glifos para la Generación Visual de Texto

GlyphControl: Glyph Conditional Control for Visual Text Generation

May 29, 2023

Autores: Yukang Yang, Dongnan Gui, Yuhui Yuan, Haisong Ding, Han Hu, Kai Chen

cs.AI

Resumen

Recientemente, ha habido un creciente interés en desarrollar modelos generativos de texto a imagen basados en difusión capaces de generar texto visual coherente y bien formado. En este artículo, proponemos un enfoque novedoso y eficiente llamado GlyphControl para abordar esta tarea. A diferencia de los métodos existentes que dependen de codificadores de texto conscientes de caracteres como ByT5 y requieren el reentrenamiento de modelos de texto a imagen, nuestro enfoque aprovecha información condicional adicional de glifos para mejorar el rendimiento del modelo Stable-Diffusion listo para usar en la generación de texto visual preciso. Al incorporar instrucciones de glifos, los usuarios pueden personalizar el contenido, la ubicación y el tamaño del texto generado según sus requisitos específicos. Para facilitar investigaciones futuras en la generación de texto visual, construimos un conjunto de datos de referencia para entrenamiento llamado LAION-Glyph. Evaluamos la efectividad de nuestro enfoque midiendo métricas basadas en OCR y puntuaciones CLIP del texto visual generado. Nuestras evaluaciones empíricas demuestran que GlyphControl supera al reciente enfoque DeepFloyd IF en términos de precisión OCR y puntuaciones CLIP, destacando la eficacia de nuestro método.

English

Recently, there has been a growing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics and CLIP scores of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy and CLIP scores, highlighting the efficacy of our method.