TextDiffuser: Modelos de Difusão como Pintores de Texto

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Autores: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Resumo

Os modelos de difusão têm ganhado crescente atenção por suas impressionantes habilidades de geração, mas atualmente enfrentam dificuldades para renderizar textos precisos e coerentes. Para abordar essa questão, apresentamos o TextDiffuser, focado na geração de imagens com textos visualmente atraentes e coerentes com os fundos. O TextDiffuser consiste em dois estágios: primeiro, um modelo Transformer gera o layout de palavras-chave extraídas de prompts de texto, e então modelos de difusão geram imagens condicionadas ao prompt de texto e ao layout gerado. Além disso, contribuímos com o primeiro conjunto de dados em larga escala de imagens de texto com anotações OCR, o MARIO-10M, contendo 10 milhões de pares imagem-texto com anotações de reconhecimento de texto, detecção e segmentação em nível de caractere. Também coletamos o benchmark MARIO-Eval para servir como uma ferramenta abrangente para avaliar a qualidade de renderização de texto. Por meio de experimentos e estudos com usuários, mostramos que o TextDiffuser é flexível e controlável para criar imagens de texto de alta qualidade usando apenas prompts de texto ou em conjunto com imagens de modelo de texto, e realiza inpainting de texto para reconstruir imagens incompletas com texto. O código, o modelo e o conjunto de dados estarão disponíveis em https://aka.ms/textdiffuser.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.