TextDiffuser: Modelli di Diffusione come Pittori di Testo

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Autori: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Abstract

I modelli di diffusione hanno attirato un'attenzione crescente per le loro impressionanti capacità di generazione, ma attualmente faticano a produrre testo accurato e coerente. Per affrontare questo problema, introduciamo TextDiffuser, concentrandoci sulla generazione di immagini con testo visivamente accattivante e coerente con gli sfondi. TextDiffuser è composto da due fasi: prima, un modello Transformer genera il layout delle parole chiave estratte dai prompt testuali, e poi i modelli di diffusione generano immagini condizionate dal prompt testuale e dal layout generato. Inoltre, contribuiamo con il primo dataset su larga scala di immagini con testo annotato tramite OCR, MARIO-10M, contenente 10 milioni di coppie immagine-testo con annotazioni di riconoscimento, rilevamento e segmentazione a livello di carattere. Abbiamo inoltre raccolto il benchmark MARIO-Eval per servire come strumento completo per valutare la qualità del rendering del testo. Attraverso esperimenti e studi utente, dimostriamo che TextDiffuser è flessibile e controllabile per creare immagini di testo di alta qualità utilizzando solo prompt testuali o insieme a immagini modello di testo, e per eseguire text inpainting per ricostruire immagini incomplete con testo. Il codice, il modello e il dataset saranno disponibili su https://aka.ms/textdiffuser.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.