TextDiffuser: Diffusiemodellen als tekstschilders

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Auteurs: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Samenvatting

Diffusiemodellen hebben steeds meer aandacht gekregen vanwege hun indrukwekkende generatiecapaciteiten, maar hebben momenteel moeite met het weergeven van nauwkeurige en samenhangende tekst. Om dit probleem aan te pakken, introduceren we TextDiffuser, dat zich richt op het genereren van afbeeldingen met visueel aantrekkelijke tekst die samenhangt met de achtergronden. TextDiffuser bestaat uit twee fasen: eerst genereert een Transformer-model de lay-out van trefwoorden die uit tekstprompts zijn geëxtraheerd, en vervolgens genereren diffusiemodellen afbeeldingen die zijn geconditioneerd op de tekstprompt en de gegenereerde lay-out. Daarnaast dragen we de eerste grootschalige dataset van tekstafbeeldingen met OCR-annotaties bij, MARIO-10M, die 10 miljoen afbeelding-tekstparen bevat met annotaties voor tekstherkenning, detectie en karakterniveau-segmentatie. We hebben verder de MARIO-Eval benchmark verzameld om als een uitgebreid hulpmiddel te dienen voor het evalueren van de kwaliteit van tekstweergave. Door experimenten en gebruikersstudies tonen we aan dat TextDiffuser flexibel en controleerbaar is om hoogwaardige tekstafbeeldingen te creëren met alleen tekstprompts of samen met teksttemplate-afbeeldingen, en voert het tekstinpainting uit om onvolledige afbeeldingen met tekst te reconstrueren. De code, het model en de dataset zullen beschikbaar zijn op https://aka.ms/textdiffuser.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.