TextDiffuser: Modelos de Difusión como Pintores de Texto

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Autores: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Resumen

Los modelos de difusión han ganado creciente atención por sus impresionantes capacidades de generación, pero actualmente enfrentan dificultades para renderizar texto preciso y coherente. Para abordar este problema, presentamos TextDiffuser, centrado en generar imágenes con texto visualmente atractivo que sea coherente con los fondos. TextDiffuser consta de dos etapas: primero, un modelo Transformer genera el diseño de palabras clave extraídas de los prompts de texto, y luego los modelos de difusión generan imágenes condicionadas por el prompt de texto y el diseño generado. Además, contribuimos con el primer conjunto de datos a gran escala de imágenes con texto y anotaciones OCR, MARIO-10M, que contiene 10 millones de pares imagen-texto con anotaciones de reconocimiento de texto, detección y segmentación a nivel de caracteres. También recopilamos el benchmark MARIO-Eval para servir como una herramienta integral para evaluar la calidad de la renderización de texto. A través de experimentos y estudios de usuario, demostramos que TextDiffuser es flexible y controlable para crear imágenes de texto de alta calidad utilizando únicamente prompts de texto o junto con imágenes de plantillas de texto, y realiza inpainting de texto para reconstruir imágenes incompletas con texto. El código, el modelo y el conjunto de datos estarán disponibles en https://aka.ms/textdiffuser.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.